Freundliche und unfreundliche Crawler

[vgwort line=“66″ server=“vg08″ openid=“9657bdce93e24aea830d9116f2af4d8b“] Vor einigen Monaten habe ich schon einmal etwas über die Möglichkeiten unfreundliche Crawler (Siehe: Unfreundliche Web-Crawler aussperren) zu sperren geschrieben. Heute war wieder etwas Zeit, nach zu schauen, ob die Maßnahmen gewirkt haben. Sehr viele Zugriffe kamen bisher vom Pixray-Seeker, dem ich daraufhin den Zugriff auf jpg und gif Dateien verboten… Freundliche und unfreundliche Crawler weiterlesen

Pixray-Seeker

Seit Februar lenke ich die Zugriffe des Pixray-Seeker auf die Seite von Pixray um. Vollständig abschütteln lässt er sich dadurch leider nicht. Ein Blick ins Log zeigt, dass er weiterhin versucht – ältere – Bilder zu laden. Zwar liest der Pixray Seeker die robots.txt, aber meinen Eintrag PixrayBot ingnoriert er. Auf der Seite von Pixray… Pixray-Seeker weiterlesen

Der Pixray-Seeker wird lästig

In den letzten Tagen beobachte ich vermehrte Besuche durch den Pixray-Seeker[ref name=“uwca“]Siehe auch:„Unfreundliche Web-Crawler aussperren“[/ref]. Mit der Einführung der Permalinks funktioniert die frühere Umleitung auf ein Dummy-Bild nicht mehr. Außerdem kostet das Erzeugen des Zufallsbildes auf meinem VServer Prozessorzeit. Ich leite jetzt alle Zugriffe auf Pixray.com zurück. Für den Test habe ich den Useragent-Switcher[ref name=“uas“]Siehe… Der Pixray-Seeker wird lästig weiterlesen

Unfreundliche Web-Crawler aussperren

Update 23. Oktober 2012: Inzwischen gibt es neue Erkenntnisse über den Pixray-Seeker. Er meldet sich wahrscheinlich nicht mehr mit Pixray-Seeker, sondern simuliert verschiedene User-Agents. Siehe Freundliche und unfreundliche Crawler Beim Auswerten der Webalizer Statistiken sind mir Angriffe und verschiedene Suchmaschinen aufgefallen, von denen ich noch nichts gehört hatte. Die Angriffe gingen in der Regel gegen… Unfreundliche Web-Crawler aussperren weiterlesen