robots.txt
lima-city → Forum → Die eigene Homepage → Homepage Allgemein
anleitung
dialog
extra
generator
lustige geschichte
publikation
robot
spider
suchmaschine
syntax
verzeichnis
warten
wissen
zehntausend
-
[wenn thread besteht bitte link, suche tut bei mir net]
also was bringt die robots.txt????
muss man sich danach trotzdem noch bei google etc. anmelden??? -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
mit der robots.txt kann man lediglich bestimmen welche Bots (Suchmaschinen) die Seite indexieren d?rfen und welche nicht
au?erdem kann man bestimmte Dateien oder Verzeichnisse von der Indexierung ausschlie?en -
Klar, die Robots.txt sagt nur, wenn du dich bei einer Suchmaschine anmeldest, das die in Robots.txt enthaltenen Seiten nicht in die Suche mit einbegriffen werden.
-
Klar, die Robots.txt sagt nur, wenn du dich bei einer Suchmaschine anmeldest, das die in Robots.txt enthaltenen Seiten nicht in die Suche mit einbegriffen werden.
Man muss sich nicht bei einer Suchmaschine anmelden, um in den Index zu kommen.
Ansonsten hast du Recht. -
Meines Wissens nach habe ich gelesen, dass nur Google die Robots.txt beachtet. Kann jemand mal nachschlagen, ob dem so ist? Anmelden kannst du dich nat?rlich immer noch. Kannst aber auch warten, bis ein Bot von einem Link zu deiner Seite springt und dich in den Index aufnimmt (dauert aber, es sei denn es gibt zehntausend Seiten im Internet, die einen Link zu deiner Seite haben (glaub ich aber nicht)).
-
Jeder anst?ndige Bot beachtet die robots.txt, wenn sie syntaktisch richtig ist.
Sie hilft nat?rlich nicht bei der Suchmaschinenanmeldung.
Sie lenkt Suchmaschinen-Spider (oder Bots) lediglich in die richtigen Bahnen, indem sie angibt, welche Verzeichnisse durchsucht ("gespidert") oder nicht durchsucht werden sollen. Das kann man f?r verschiedene Bots extra einstellen.
Hier mal eine Anleitung:
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html
Und hier eine lustige Geschichte, was Bots und Spider so von einer Website erwarten:
http://www.woodshed.de/publikationen/dialog-robot.html
MfG
alopex
-
gibt es noch irgendwo nen funktionierenden robots.txt syntax checker???
-
gibt es noch irgendwo nen funktionierenden robots.txt syntax checker???
http://www.searchcode.de/robotstxt.php
ein Generator der einem die robots.txt erstellt, da gehe ich auch mal davon aus der der Syntax korrekt ist -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
