Falsche Bots finden

[vgwort line=“3″ server=“vg05″ openid=“bb604c64c93d49f59cd72e9b16a27747″] Geschützte Seiten, die trotzdem über Google gefunden werden wollen, erlauben den Zugriff, wenn er von Google kommt. Im einfachen Fall fragt der Server nur den User Agent String ab. Kennzeichnet er den Aufrufer als Googlebot, wird der Zugriff erlaubt. Dies wird gerne ausgenutzt um einen Zugriffsschutz zu umgehen. Manche Crawler oder… Falsche Bots finden weiterlesen