Kommt die Suchmaschine über ein Login hinweg?
lima-city → Forum → Die eigene Homepage → HTML, CSS & Javascript
anmelden
barriere
beispiel
bereich
bot
einloggen
erfassen
folgen
genauer untersuchen
index
inhalt
klicken
login
problem
suche
suchenden kurze interessante textpassagen
suchmaschine
trick
umgehen
zugriff
-
Hallo, mir ist aufgefallen, dass ich beim surfen mit der Suchmaschine oft in Bereiche gelange, wohin ich auf der original Hompage
eigentlich gar nicht gelangen dürfte.
Krabbelt der Spider mit "index follow" über diese Barriere, oder muss der gesperrte Bereich mit eine eigenen Metatag geschützt werden?
Danke LG Gary -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Wenn es im öffentlichen Bereich einen Link zu einer geschützten Seite gibt, wird ein Spider auch versuchen, diesem zu folgen.
Sofern der Seitenbetreiber es aber nicht erlaubt, wird er die Inhalte solcher Seiten nicht erfassen können.
Es ist nicht ungewöhnlich, daß geschützte Bereiche für Suchmaschinen freigeschaltet sind. So lassen sich zum Beispiel mit etwas Geschick auch die kostenpflichtigen Online-Angebote diverser Zeitungen lesen.
FF -
Hmmm das würde bedeuten, daß man bei Google und Co. Schlagwörter eingibt und somit einfach via klicken eines aufgelisteten Links bei Google um den Login-Bereich hinweg kommt.
Aber wie kann man mit diesem Problem als Websitebetreiber umgehen, fals man eben solche Zugriffe auf seinen Content nicht erwünscht? GIbt es da irgendwelche Tricks, so daß sich die User erstmal einloggen/anmelden müssen um an den Content zu kommen? -
kalinawalsjakoff schrieb:
Nein, das kann der Seitenbetreiber verhindern. Du kannst aber den Google-Cache anschauen.
Hmmm das würde bedeuten, daß man bei Google und Co. Schlagwörter eingibt und somit einfach via klicken eines aufgelisteten Links bei Google um den Login-Bereich hinweg kommt.
kalinawalsjakoff schrieb:
Na, mache alles ganz normal. Eine Suchmaschine kann auch nicht auf mehr zugreifen, als ein User das kann, wenn man es nicht speziell einrichtet.
Aber wie kann man mit diesem Problem als Websitebetreiber umgehen, fals man eben solche Zugriffe auf seinen Content nicht erwünscht? GIbt es da irgendwelche Tricks, so daß sich die User erstmal einloggen/anmelden müssen um an den Content zu kommen? -
gerald-grinschgl schrieb:
Ein Spider krabbelt nicht über die "index follow" Barriere, sondern folgt dem, was ihm gezeigt wird. Über einen Metatag läßt sich auch nichts schützen.
Krabbelt der Spider mit "index follow" über diese Barriere, oder muss der gesperrte Bereich mit eine eigenen Metatag geschützt werden?
fatfreddy schrieb:
Können schon. Von seriösen Suchdiensten jedoch wird dies gewöhnlich respektiert.
Wenn es im öffentlichen Bereich einen Link zu einer geschützten Seite gibt, wird ein Spider auch versuchen, diesem zu folgen.
Sofern der Seitenbetreiber es aber nicht erlaubt, wird er die Inhalte solcher Seiten nicht erfassen können.
Außerdem lassen sich vorhandene Ordner erfassen, jedoch nicht zwangläufig deren Inhalte.
kalinawalsjakoff schrieb:
Jain, nicht zwangsläufig. Siehe unten.
Hmmm das würde bedeuten, daß man bei Google und Co. Schlagwörter eingibt und somit einfach via klicken eines aufgelisteten Links bei Google um den Login-Bereich hinweg kommt.
kalinawalsjakoff schrieb:
Einfach wie gehabt weitermachen. Google & Co. kann auch nur das, was gestattet ist.
Aber wie kann man mit diesem Problem als Websitebetreiber umgehen, fals man eben solche Zugriffe auf seinen Content nicht erwünscht? GIbt es da irgendwelche Tricks, so daß sich die User erstmal einloggen/anmelden müssen um an den Content zu kommen?
drafed-map schrieb:
Stimmt nicht, weil:
kalinawalsjakoff schrieb:
Na, mache alles ganz normal. Eine Suchmaschine kann auch nicht auf mehr zugreifen, als ein User das kann, wenn man es nicht speziell einrichtet.
Aber wie kann man mit diesem Problem als Websitebetreiber umgehen, fals man eben solche Zugriffe auf seinen Content nicht erwünscht? GIbt es da irgendwelche Tricks, so daß sich die User erstmal einloggen/anmelden müssen um an den Content zu kommen?
fatfreddy schrieb:
Und eben das ist das hüpfende Komma.
Es ist nicht ungewöhnlich, daß geschützte Bereiche für Suchmaschinen freigeschaltet sind. So lassen sich zum Beispiel mit etwas Geschick auch die kostenpflichtigen Online-Angebote diverser Zeitungen lesen.
ZB gab es in der Vergangenheit (meist sehr umfangreiche) Forensoftware, welche dies in gewissen Versionen standartmäßig freigeschaltet hatte.
Manchen Suchdiensten war es somit erlaubt, in geschützte Bereiche hineinzuschauen. Betroffen davon waren u.a. Moderatoren- und Adminbereiche. Mit bekannten Übersetzungsdiensten derselben Suchmaschinen konnten selbst normale User mehr sehen, als manchem Admin lieb gewesen wäre. Der Grund, warum dies möglich war, ist, daß übereifrige Admins schnell ihre Boards zum laufen bringen wollten, ohne sich zuvor mit ihrer umfangreichen Forensoftware intensiv auseinanderzusetzen.
Es gibt jedoch auch - wie fatfreddy es andeutete - für Suchmaschinen absichtlich freigeschaltete Bereiche.
Dies dient u.a. dem Zweck, die Suchenden kurze, interessante Textpassagen anlesen zu lassen, welche sich auf der betreffenden Webseite jedoch erst nach einer Anmeldung voll ausschöpfen bzw weiterlesen lassen. -
Es gibt auch Addons, die dich als Google-bot verkleiden. Damit surfst du sogar sicherer, da eine Webseite mit Schadsoftware Goggle die Viren nicht zeigen will, damit sie nicht aus Google herausgenommen wird. Und so werden die Bösen Programme auch dich nicht erreichen, aber nur wenn die Website nicht gut programmiert ist denn: Die Programme verändern ja nicht deine IP, sondern nur den Name des Surfers.
-
Leider hat der Threadersteller keine Beispielseite genannt, dann könnte man genauer untersuchen wieso der Googlebot die Seiten Indixiert, obwohl diese einen Login voraussetzen.
Ich könnte mir verschiedene Szenarien vostellen:
- Der Googlebot wird speziell auf die Seite geleitet, die der normale User nicht sieht (zB über die robots.txt oder sitemap.xml). So kann man dem Bot Seiten zeigen, auf die kein offizieller Link geht.
- Der Googlebot füllt definitiv Formulare stichwortartig aus. Jedoch wird in der Google-Suche allgemein nicht auf Suchergebnisse von Webseiten gelinkt, da laut Google "für die Suche Google und nicht die Webseite selber verwendet werden soll". Bei anderen Formularen könen die Seiten allerdings in der Seite auftauchen.
- Der Link wurde geändert und Google hat die geänderte Seite noch nicht indiziert, also die Änderung noch nicht den Suchergebnissen angepasst. Das kann man zB machen, indem man Google andeutet, erst nach langer Zeit wieder zu kommen.
- Der Googlebot kriegt etwas anderes zu sehen als der normale Webseitenbesucher. Dann ist es aber nur eine Frage der Zeit, bis die Seite stark abgewertet wird.
Ohne Beispiel kann man das jedoch nicht genauer untersuchen.
Und noch etwas: Ich gehe davon aus, dass Google sehr wohl Seiten indiziert, die per nofollow oder per robots.txt ausgesperrt werden, nur werden diese eben nicht in den Resultaten angezeigt. -
kalinawalsjakoff schrieb:
Hmmm das würde bedeuten, daß man bei Google und Co. Schlagwörter eingibt und somit einfach via klicken eines aufgelisteten Links bei Google um den Login-Bereich hinweg kommt.
Nein, würde es nicht! Du kannst die Schlagwürter eingeben, siehst die Ergebnisse, aber ein Klick darauf bringt dir ein "Darfst Du nicht gucken, melde dich erstan".
kalinawalsjakoff schrieb:
Aber wie kann man mit diesem Problem als Websitebetreiber umgehen, fals man eben solche Zugriffe auf seinen Content nicht erwünscht? GIbt es da irgendwelche Tricks, so daß sich die User erstmal einloggen/anmelden müssen um an den Content zu kommen?
Das ist kein Problem! Wenn der Webseitenbetreiber den Zugriff nicht wünscht, wird Google an der Authentifizierung scheitern.
Ein Login ist, was Google betrifft, grundsätzlich sicher! Der Googebot versucht nicht, Logins zu knacken (Das wäre ja noch schöner.) und ist dazu auch nicht in der Lage.
Wenn Google solche Inhalte indiziert/indizieren kann, hat es der Betreiber so gewollt. Ob das Suchergebnis für den Suchenden auch einfach, kostenlos, oder nur durch Abo oder was auch immer erreichbar ist, ist ein anderes Ding.
menschle schrieb:
Es gibt jedoch auch - wie fatfreddy es andeutete - für Suchmaschinen absichtlich freigeschaltete Bereiche.
Dies dient u.a. dem Zweck, die Suchenden kurze, interessante Textpassagen anlesen zu lassen, welche sich auf der betreffenden Webseite jedoch erst nach einer Anmeldung voll ausschöpfen bzw weiterlesen lassen.
Genau deshalb mein Beispiel der Online-Angrbote von Zeitungen. Sie möchten natürlich in den Suchergebnissen präsent sein, denn Cklicks bringen Leser. Diese Präsenz weckt beim Suchenden eventuell sogar die Bereitschaft, ein Abo abzuschließen. wenn er keinen Zugriff auf die Inhalte des verlinkten Ergebnisses hat.
Genau das ist aber der Punkt: Google darf, ich nicht. Wenn ich ohne (kostenpflichtiges) Abo lesen will, muß ich mich halt als Google ausgeben.
Bwi den großen Verlagen ist dieser Spagat noch immer ein Thema. Sie wollen bei Googlesuchen gefunden werden, aber an ihren Inhalten verdienen. Es gibt aber dummerweise keine Möglichkeit, Google, dem nicht zahlenden und wichtigen Spider, Zugriff zu gewähren, ohne dem zahlungsunwilligen, schlauen User ebenfalls eine Lesemöglichkeit zu geben.
@trueweb:
Alle deine Szenarien sind grundsätzlich nicht falsch! Aber treffen nicht die eigentliche Frage.
Ein seriöser Spider folgt jedem Link, sofern ihm das nicht per nofollow oder robots.txt verboten wurde.
Wenn der Link zu einer zugangsgeschützten Seite führt, heißt das aber nicht zwangsläufig, daß diesem nicht gefolgt wird. Warum auch? Ein Link, ist ein Link, ist ein Link Das Ergebniss in den Suchergebnissen kann aber eigentlich nur ein "Guckst Du? Melde dich an!" sein. Google ist keine Hexrerei.
Wenn der Googlebot Inhalte in der Suche zeigt, die dem normalen, nicht angemeldeten User nicht zugänglich sind, hat der Seitenbetreiber das veranlaßt. Google kann, ohne nofollow und robots.txt-Direktiven, bei einem Link nicht erkennen, daß er auf eine geschützte Seite führt. Der Bot ist blöd und schaut. Was er sieht, bestimmt ausschließlich der Betreiber der Seite.
FF
Beitrag zuletzt geändert: 8.5.2011 0:57:08 von fatfreddy -
gerald-grinschgl schrieb:
Hallo, mir ist aufgefallen, dass ich beim surfen mit der Suchmaschine oft in Bereiche gelange, wohin ich auf der original Hompage eigentlich gar nicht gelangen dürfte.
trueweb schrieb:
Leider hat der Threadersteller keine Beispielseite genannt, dann könnte man genauer untersuchen wieso der Googlebot die Seiten Indixiert, obwohl diese einen Login voraussetzen.
*stümmt* Ein, zwei Beispielchen wären nicht schlecht..
-
Auch wenn das jetzt nicht die Frage des "Login"-Befehls betrifft, so doch das Verhalten einiger Suchmaschinen :
Meiner Erfahrung nach kümmern sich einige Suchmaschinen wie z.B. Google und Yahoo überhaupt nicht um "nofollow"-Anweisungen, selbst dann nicht, wenn sie in jede einzelne HTML-Datei geschrieben wurden und Verbote in "robots.txt" sind denen auch egal.
Selbst diese komplexe Verbotsanweisung <meta name="robots" content="noindex, nofollow, nosnippet, noodp, noarchive, noimageindex"> wurde mißachtet. Darum bin ich mit einigen Webseiten ( die nicht von Suchmaschinen erfaßt werden sollten ) schon mehrfach komplett umgezogen, also anderer Provider und anderer Oberbegriff für die jeweilige Seite. -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
