Am Sonntag, 14. März 2004 10:43 schrieb Alwin Meschede:
Ivo Köthnig schrieb:
Ich bin mir nicht sicher, aber ich glaube wget ist gesperrt und funktioniert nicht...
Aber nur, damit nicht jeder ahnungslose Depp uns durch zu schnelles Spidern die Server in die Knie zwingt. Man kann wget durchaus so konfigurieren, dass es einen anderen Useragent-String schickt, außerdem kann man dem Programm auch sagen, dass es die Robots.txt, in der auf freiwilliger Basis die Programme vermerkt sind, die nicht spidern sollen dürfen, einfach ignoriert. Wir gehen einfach davon aus, dass diejenigen Leute, die so intime Kenntnis von wget haben, dass sie obige Punkte umsetzen können, auch so verantwortungsbewusst sind, langsam zu spidern.
Und wie spidert man langsam? kann man das wget auch sagen? Was bedeutet langsam? Nach jedem File 3 Sek. warten. oder deutlich länger?
--Ivo Köthnig