Bots, Crawler oder Spider sind Computer die das World Wide Web nach Inhalten mit unterschiedlichen Zielsetzungen durchforsten. Die bekanntesten sind sicher die Crawler der großen […]
WeiterlesenSchlagwort: crawler
Freundliche und unfreundliche Crawler
Vor einigen Monaten habe ich schon einmal etwas über die Möglichkeiten unfreundliche Crawler (Siehe: Unfreundliche Web-Crawler aussperren) zu sperren geschrieben. Heute war wieder etwas Zeit, […]
Weiterlesen80legs
80legs ist ein Web-Crawler, der ab und an meine Seiten besucht. Gegen einen entsprechenden Obulus kann ein registrierter Nutzer den Crawler mit einer spezifischen Suchanfrage […]
WeiterlesenPrivate Krankenversicherung Spam
Heute kam wieder eine Private Krankenversicherungsspam in meine Mailbox; diesmal von Herrn Carl Kaiser. Nichts ungewöhnliches, nichts besonderes. Der Link – http://www.beratung-und-analyse3.info – führte zur […]
WeiterlesenRobots.txt
Ich habe mir gerade die Angriffe auf diese Seite angesehen. Ich glaub, ich muss da noch ein paar kleine Tools installieren um diese zu blocken. […]
Weiterlesen
Neueste Kommentare