Google Bot gefangen...
lima-city → Forum → Die eigene Homepage → Internet Allgemein
ablauf
after
anscheinend
benutzer
besucher
crawl
datei
erfassung
fesseln
folgendes ergebnis
fragen
gewisse verzeichnisse
hlfte
intervall
kleines bisschen
los
minute
ursache
woche
zukunft
-
Ich habe es geschafft, einen Google Bot in meiner Homepage zu fesseln :)
Der will da anscheinend nicht mehr raus. Nachdem immer wieder in meinem Forum ein Gast mit 20 mal der gleichen IP drin stand habe ich nun mal geschaut was das ist:
Und ich habe nun folgendes Ergebnis:
66.249.65.16 crawl-66-249-65-16.googlebot.com
Also ein Google Bot.
Nur ist meine Frage, ob der sich da auch mal wieder wegbewegt. Der ist nun schon über Wochen dort und nur mal ganz selten für ein paar Stunden nicht mehr da. ABer dann hängt er wieder mehr oder weniger dort fest.
Was kann das für Ursachen haben und vor allem wie werde ich ihn wieder los???
Das nervt mich nämlich ein kleines bisschen. -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Wie soll jmd/ein Bot die ganze Zeit über auf deiner Seite sein?
Ich glaube du weißt nicht so ganz, wie diese Onlineanzeige funktioniert.
Dort werden die Besucher der letzten xy Minuten angezeigt.
Wenn die Toleranzgrenze dann ziemlich hoch eingestellt ist, dann steht der Googlebot logischerweise immer mit bei, weil er halt so oft vorbei kommt.
Die Hälfte des Traffic meiner Websites wird vom Googlebot benutzt. -
Für die Zukunft: Schreib eine robots datei,
in der du gewisse Verzeichnisse von der Erfassung ausnimmst.
Zudem solltest du mal schauen, wie hoch deine Intervalle für Ablauf des Seiteninhalts (müsste ein Metatag sein) im Forenbereich gesetzt sind. Denn genau das ließt Google aus und sagt sich => Dann schick ich eben dann wieder einen Bot vorbei. -
Für die Zukunft: Schreib eine robots datei,
in der du gewisse Verzeichnisse von der Erfassung ausnimmst.
Zudem solltest du mal schauen, wie hoch deine Intervalle für Ablauf des Seiteninhalts (müsste ein Metatag sein) im Forenbereich gesetzt sind. Denn genau das ließt Google aus und sagt sich => Dann schick ich eben dann wieder einen Bot vorbei.
Ich habe gar keinen Intervall eingestellt. Zumindest nicht als Meta-Tag :)
Eine robots.txt werde ich auch anlegen. Hatte ich sowieso geplant. Jetzt dann halt schon früher.
@lucas
Ich bezweifle, dass die Toleranz so hoch ist, denn die normalen User sind auch nicht ständig als online angezeigt. Also das vermute ich mal wirklich nicht.
Genau diesen Traffic will ich auch verhindern, da mein Server auch nicht die schnellste Leitung hat ;) -
Ein Benutzer besucht die Seite auch nicht jede Stunde einmal, sondern in 10 Minuten 100 mal und danach halt nicht mehr.
-
Naja wie auch immer, ich danke für die Antworten und werde mal so nen Meta-Tag schreiben, mit 4 Wochen Wiederbesuchszeit und schauen ob es was bringt :)
-
Selbst wenn es nichts bringen sollte, kann dir das doch egal sein oder nicht oO
-
Naja wie auch immer, ich danke für die Antworten und werde mal so nen Meta-Tag schreiben, mit 4 Wochen Wiederbesuchszeit und schauen ob es was bringt :)
Der Tag müsste revisit-after heißen. Allerdings wird der meines Wissens nach von eigentlich allen Bots ignoriert. Die kommen einfach wie sie wollen. -
Selbst wenn es nichts bringen sollte, kann dir das doch egal sein oder nicht oO
Nein, egal ist es nicht. Der Bot verursacht Traffic und das will ich eigentlich verhindern. Denn meine Leitung ist nicht die Allerbeste. Vielleicht macht das nicht die Welt aus, aber ich will halt so wenig unnötigen Traffic wie nur möglich.
Inzwischen hab ich aber eine robots.txt und der Bot hat mich nicht mehr besucht :) -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
