[vgwort line=“66″ server=“vg08″ openid=“9657bdce93e24aea830d9116f2af4d8b“] Vor einigen Monaten habe ich schon einmal etwas über die Möglichkeiten unfreundliche Crawler (Siehe: Unfreundliche Web-Crawler aussperren) zu sperren geschrieben. Heute […]
WeiterlesenSchlagwort: Web-Crawler
Unfreundliche Web-Crawler aussperren
Update 23. Oktober 2012: Inzwischen gibt es neue Erkenntnisse über den Pixray-Seeker. Er meldet sich wahrscheinlich nicht mehr mit Pixray-Seeker, sondern simuliert verschiedene User-Agents. Siehe […]
Weiterlesen
Neueste Kommentare