Bots, Crawler oder Spider sind Computer die das World Wide Web nach Inhalten mit unterschiedlichen Zielsetzungen durchforsten. Die bekanntesten sind sicher die Crawler der großen […]
WeiterlesenSchlagwort: robots.txt
80legs
80legs ist ein Web-Crawler, der ab und an meine Seiten besucht. Gegen einen entsprechenden Obulus kann ein registrierter Nutzer den Crawler mit einer spezifischen Suchanfrage […]
WeiterlesenPrivate Krankenversicherung Spam
Heute kam wieder eine Private Krankenversicherungsspam in meine Mailbox; diesmal von Herrn Carl Kaiser. Nichts ungewöhnliches, nichts besonderes. Der Link – http://www.beratung-und-analyse3.info – führte zur […]
WeiterlesenUnfreundliche Web-Crawler aussperren
Update 23. Oktober 2012: Inzwischen gibt es neue Erkenntnisse über den Pixray-Seeker. Er meldet sich wahrscheinlich nicht mehr mit Pixray-Seeker, sondern simuliert verschiedene User-Agents. Siehe […]
WeiterlesenThe Webalizer – Statistiken absichern
Wer einen Web-Server betreibt, der möchte – so wie ich – wissen, was so auf seinem Server vor sich geht. Welche Seiten werden besucht, wie […]
WeiterlesenRobots.txt
Ich habe mir gerade die Angriffe auf diese Seite angesehen. Ich glaub, ich muss da noch ein paar kleine Tools installieren um diese zu blocken. […]
Weiterlesen
Neueste Kommentare