[vgwort line=“19″ server=“vg08″ openid=“586d5cafe69543938f2dd7c2dc8dc0b9″] 80legs ist ein Web-Crawler, der ab und an meine Seiten besucht. Gegen einen entsprechenden Obulus kann ein registrierter Nutzer den Crawler […]
WeiterlesenSchlagwort: 80legs
Unfreundliche Web-Crawler aussperren
Update 23. Oktober 2012: Inzwischen gibt es neue Erkenntnisse über den Pixray-Seeker. Er meldet sich wahrscheinlich nicht mehr mit Pixray-Seeker, sondern simuliert verschiedene User-Agents. Siehe […]
Weiterlesen
Neueste Kommentare