[vgwort line=“44″ server=“vg05″ openid=“8359f0e60cc9478284d14251ed4c7f04″] Bots, Crawler oder Spider sind Computer die das World Wide Web nach Inhalten mit unterschiedlichen Zielsetzungen durchforsten. Die bekanntesten sind sicher […]
WeiterlesenSchlagwort: robots.txt
80legs
[vgwort line=“19″ server=“vg08″ openid=“586d5cafe69543938f2dd7c2dc8dc0b9″] 80legs ist ein Web-Crawler, der ab und an meine Seiten besucht. Gegen einen entsprechenden Obulus kann ein registrierter Nutzer den Crawler […]
WeiterlesenPrivate Krankenversicherung Spam
[vgwort line=“18″ server=“vg08″ openid=“a4b4bdf42d05492ab788a4ae2aad422b“] Heute kam wieder eine Private Krankenversicherungsspam in meine Mailbox; diesmal von Herrn Carl Kaiser. Nichts ungewöhnliches, nichts besonderes. Der Link – […]
WeiterlesenUnfreundliche Web-Crawler aussperren
Update 23. Oktober 2012: Inzwischen gibt es neue Erkenntnisse über den Pixray-Seeker. Er meldet sich wahrscheinlich nicht mehr mit Pixray-Seeker, sondern simuliert verschiedene User-Agents. Siehe […]
WeiterlesenThe Webalizer – Statistiken absichern
[vgwort line=“24″ server=“vg08″ openid=“a7450d1217c34063b3839b9a4c797ad8″] Wer einen Web-Server betreibt, der möchte – so wie ich – wissen, was so auf seinem Server vor sich geht. Welche […]
WeiterlesenRobots.txt
Ich habe mir gerade die Angriffe auf diese Seite angesehen. Ich glaub, ich muss da noch ein paar kleine Tools installieren um diese zu blocken. […]
Weiterlesen
Neueste Kommentare