Robots einstellen
lima-city → Forum → Die eigene Homepage → HTML, CSS & Javascript
anweisung
aufbau
besuchen
bot
datei
durchsuchen
empfehlung
gleiche begriffe
http
index
jemand
kommando
kontext
mitteln
sagen
stehen
suchmaschine
tag
url
wirksamkeit
-
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
sexyteamlp schrieb:
Mir wurde etwas von "Robots" erzählt. In diesen Robots stehen die Tags der jeweiligen Seite, damit die Seite von zB Google gefunden wird, wenn jemand ähnliche/gleiche Begriffe eingibt. Könntet ihr mir sagen, wo und wie ich dieses Kommando schreibe?
LG Dex.
Das sind Robots
Also ich hab mir den Artikel nicht ganz durchgelesen aber scheinbar handelt es sich um eine datei (oder einem meta tag) die Suchmaschinen sagt welche Seiten sie besuchen darf und weiteres. Aber ich bezweilfe das die großen Suchmaschinen sich dran halten. Es ist ja auch schon allseits bekannt das Google als "nicht besuchen wenn suchmaschine" deklarierte links trotzdem crawlt und in den index einträgt.
Beitrag zuletzt geändert: 12.8.2012 0:52:35 von krisi12345 -
sexyteamlp schrieb:
Mir wurde etwas von "Robots" erzählt. In diesen Robots stehen die Tags der jeweiligen Seite, damit die Seite von zB Google gefunden wird, wenn jemand ähnliche/gleiche Begriffe eingibt. Könntet ihr mir sagen, wo und wie ich dieses Kommando schreibe?
*Begriffsverwirrung aufklär*
Tags = Keywords -> Metatag im Header. Wirksamkeit für Suchmaschinen mittlerweile sehr umstritten.
Robots (aus dem Kontext gesehen vermutlich Robots.txt) -> "Empfehlung" (! mehr nicht!) an Suchmaschinenspider, welche Seiten zu indizieren/durchsuchen sind und welche nicht.
Syntax für den Aufbau einer Robots.txt siehe *hier*
Wie gsagt ist alles, was in der Robots.txt steht nur eine Empfehlung. Nicht jeder Bot beachtet die Anweisungen in dieser Datei. Google und andere etablierte Suchmaschinen respektieren die Anweisungen; "böse" Bots normalerweise aber nicht. Solchen muß man den Zugang mit anderen Mitteln verwehren.
Beitrag zuletzt geändert: 12.8.2012 2:18:50 von fatfreddy -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
