Ich habe eine frage über robots.txt
lima-city → Forum → Die eigene Homepage → HTML, CSS & Javascript
abbild
agent
archivieren
aufnehmen
bereich
besuchen
bot
code
durchsuchen
empfehlung
frage
halten
http
internet
leute
methode
ordner
scheren
wahl
zugriff
-
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Die robots.txt ist so richtig.
Aber "gesperrt" wird dadurch nichts. Das "disallow" in der Robots.txt ist nur eine Bitte an die Bots, diesen Bereich nicht zu besuchen und zu crawlen. Wenn sie sich nicht daran halten wollen, können sie auf die Bereiche trotzdem zugreifen.. Fir großen Suchmaschinen folgen dieser Empfehlung, aber die ganzen Spambots scheren sich nicht drum. Manchmal dient ihnen die Robots.txt sogar dazu, Bereiche zu finden, die sie sonst nicht entdeckt hätten.
Willst Du Botzugriffe auf diese Ordner wirklich sperren, mußt Du das über Regeln in der .htaccess lösen.
Beispieleintrag für die .htaccess:
# semalt-Bot aussperren; Methode: Referrer RewriteCond %{HTTP_REFERER} ^http://.*soundfrost\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*semalt.com [NC] RewriteRule .* - [F,L] #larbin aussperren; Methode User Agent RewriteCond %{HTTP_USER_AGENT} ^larbin [NC] RewriteRule ^.* - [F,L]
Beitrag zuletzt geändert: 5.8.2015 15:20:44 von fatfreddy -
Genau wie fatfreddy schon sagte, kann man mit der Robots.txt keine Bots aussperren. Man kann sie nur darum bitten, die Bereiche nicht zu durchsuchen.
-
Eine robots.txt ist wie ein rotes Warnschild an einer Tür, auf dem "Nicht Betreten!" steht.
Ein großteil aller Leute hält sich daran, im Internet wären das Suchmaschinen wie Google, Bing, Yahoo etc. Doch man hat immernoch die Wahl, trotz dem Warnschild durch die Tür hindurch zu gehen. In diesem Sinne ist eine Anwendung der .htaccess - Datei sehr hilfreich, wie sie fatfreddy bereits genannt hat.
Und gesperrt werden die Seiten gar nicht. Wenn du Seiten sperrst, egal für wen, sind sie zwar für jeden namentlich sichtbar, der Inhalt wird jedoch vom Server nicht versendet. Du solltest also überlegen, was du möchtest;
- Dass deine Seiten bei Google oder Bing - Suchen nicht aufgelistet werden, aber jeder darauf Zugriff haben könnte, oder:
- Dass deine Seiten weder Bei Google sichtbar noch für irgendjemanden aufrufar sind. In diesem Fall kannst du die Seiten auch einfach löschen, außer es sind ausgelagerte Skripte etc,
-
Selbst wenn sich die Robots an die robots.txt halten, werden sie trotzdem Seiten aufnehmen, wenn diese auf anderen Webseiten verlinkt sind. Sie suchen dann zwar Deine Seiten nicht durch aber nehmen den Link der externen Webseite auf und zeigen ihn in den Suchergebnissen.
Weiterhin sollte man auch den Spruch nicht unterschätzen "Das Internet vergißt nicht!". Es gibt genügend Unternehmen, die das gesamte Internet scannen und Abbilder von Seiten erstellen und diese archivieren. Selbst wenn sie schon lange von Deinem Webspace gelöscht sind, sind sie dort immer noch auffindbar.
Wenn man ganz sicher sein will hilft wirklich nur das Verzeichnis mit einem Passwort zu schützen oder noch besser - Dinge gar nicht erst online stellen! -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
