Seit Februar lenke ich die Zugriffe des Pixray-Seeker auf die Seite von Pixray um. Vollständig abschütteln lässt er sich dadurch leider nicht. Ein Blick ins Log zeigt, dass er weiterhin versucht – ältere – Bilder zu laden. Zwar liest der Pixray Seeker die robots.txt, aber meinen Eintrag PixrayBot ingnoriert er. Auf der Seite von Pixray finde ich immer noch keinen Hinweis, was ich in der robots.txt eintragen muss, damit eine Seite nicht durchsucht wird.
Während der Pixray-Seeker im Januar und Anfang Februar Spitzenpositionen in der Statistik eingenommen hat, halten sich seine Zugriffe jetzt im Verhältnis zu anderen Suchmaschinen in Grenzen.
Es gibt einen neueren Artikel zu diesem Thema. Siehe Freundliche und unfreundliche Crawler.
Neueste Kommentare