[vgwort line=“44″ server=“vg05″ openid=“8359f0e60cc9478284d14251ed4c7f04″] Bots, Crawler oder Spider sind Computer die das World Wide Web nach Inhalten mit unterschiedlichen Zielsetzungen durchforsten. Die bekanntesten sind sicher […]
WeiterlesenSchlagwort: Spider
Freundliche und unfreundliche Crawler
[vgwort line=“66″ server=“vg08″ openid=“9657bdce93e24aea830d9116f2af4d8b“] Vor einigen Monaten habe ich schon einmal etwas über die Möglichkeiten unfreundliche Crawler (Siehe: Unfreundliche Web-Crawler aussperren) zu sperren geschrieben. Heute […]
Weiterlesen
Neueste Kommentare