Problem? mit robots.txt
lima-city → Forum → Die eigene Homepage → Homepage Allgemein
agent
anfang
betreffenden stellen
code
datei
download
endeffekt
ftp
http
impressum
liegen
opus
problem
programm
scheitern
test
url
webseite
zeichen
zeile
-
Hallo!
Mir ist da etwas eigenartiges an meiner robots.txt aufgefallen: Auf meinem Computer ist sie so wie sie sein soll. Aber nachdem ich sie via FTP hochgeladen habe sind auf einmal einige Zeilen verschoben..
z.B.:
User-Agent: *
Disallow: 1.htmlDisallow: 2.html
Disallow:
3,html
usw...
Ich weiß jetzt zwar nicht einmal ob das wirklich ein Problem darstellt, aber ich denke schon. Auf jeden Fall kann ich es mir nicht erklären und es ist mir sehr suspekt.
Hat jemand eine Erklärung dazu oder vielleicht sogar eine Lösung?
Danke im Voraus! -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Gibt es einen Link wo man das live bewundern kann?
-
Ich denke mal er meint diese hier von seiner Webseite: http://www.theyorecords.de/robots.txt
-
Die Zeilenumbrüche sind jedenfalls an den betreffenden Stellen komplett verschwunden und auch durch keine anderen Zeichen ersetzt worden.... ?
Könnte das an deinem FTP-Programm liegen? Welches FTP-Programm verwendest du denn (und auf welchem OS)? -
weissertiger2 schrieb:
Ich denke mal er meint diese hier von seiner Webseite: http://www.theyorecords.de/robots.txt
Jap, genau das ist es..
hackyourlife schrieb:
Die Zeilenumbrüche sind jedenfalls an den betreffenden Stellen komplett verschwunden und auch durch keine anderen Zeichen ersetzt worden.... ?
Könnte das an deinem FTP-Programm liegen? Welches FTP-Programm verwendest du denn (und auf welchem OS)?
Ja, scheint so... Ich verwende FileZilla auf Windows 7 32 Bit.
Edit:
Ich hab das Problem gelöst.. Anscheinend lag es am Notepad++. Wenn ich die robots.txt mit dem normalen Notepad erstelle, sieht sie nach dem Hochladen noch gleich aus. Eigenartig aber wahr..
Beitrag zuletzt geändert: 6.7.2012 16:10:05 von yorecords -
yorecords schrieb:
Wenn ich die robots.txt mit dem normalen Notepad erstelle, sieht sie nach dem Hochladen noch gleich aus. Eigenartig aber wahr..
So seltsam ist das garnicht, muss man aber verstehen bzw. wissen.
Früher hat man ja Schreibmaschinen verwendet, dort musste man folgendes machen, um den Schreibkopf in eine neue Zeile zu bringen:
- Zeilenvorschub: Drehen der der Walze (damit wird eine neue Zeile "hervorgeschoben")
- Wagenrücklauf: Im Grunde hat man die Rechte Seite des Blattes erreicht, muss also den Wagen zum Anfang zurück schieben
Im Englishen bedeutet dies:
- Zeilenvorschub = Line feed = LF
- Wagenrücklauf = carriage return = CR
Einen Zeilenumbruch muss man ja auch irgendwie speichern, man braucht also wie für jedes andere Zeichen auch einen ASCII-Code. Nun haben sich die verschiedenen Betriebssysteme jedoch unterschiedlich entwickelt, so hat zB Windows den Zeilenumbruch "realitätsnah" per LF-CR umgesetzt, bei Linux gibt es jedoch nur LF, bei OS X nur CR.
Speichert dein Notepad++ deine (ASCII)-Datei nun (aus welchem Grund auch immer) nur mit einem CR, kann Linux keinen Umbruch darstellen, da es dort ja LF wäre. Genauso andersrum. Es kann aber auch sein, dass dein FTP-Programm die Datei bzw. die Zeilenumbrüche umwandelt.
So eigenartig ist das also garnicht ;)
-
trueweb schrieb:
Das kann nicht nur sein, sondern das ist mit großer Sicherheit so.
Es kann aber auch sein, dass dein FTP-Programm die Datei bzw. die Zeilenumbrüche umwandelt.
Der FTP-Client erkennt, dass es sich um eine Textdatei handelt und startet deshalb den Transfer auch im "Textmodus". Dabei werden die Zeilenenden vom FTP-Programm so übersetzt, dass sie zum Zielsystem (lima-city, Linux) passen... -
Aber wenn das wirklich so ist, wieso sind dann nicht alle Zeilenumbrüche weg?
Im Endeffekt werden sie ja teilweise sogar verschoben.. Was am Anfang z.B.
User-Agent: *
Disallow: 1.html
ist, ist nach dem Hochladen
User-Agent: *Disallow:
1.html
Beitrag zuletzt geändert: 7.7.2012 0:20:44 von yorecords -
yorecords schrieb:
also ich sehe das ganze so (fedora16/FF/Opera)
Aber wenn das wirklich so ist, wieso sind dann nicht alle Zeilenumbrüche weg?
Im Endeffekt werden sie ja teilweise sogar verschoben.. Was am Anfang z.B.
User-Agent: *
Disallow: 1.html
ist, ist nach dem Hochladen
User-Agent: *Disallow:
1.html
wenn das von dem abweicht, sollte an win(progs) 'scheitern'User-agent: QualidatorSiteAnalyzer Disallow: User-agent: EmailCollector Disallow: / User-agent: GagaRobot Disallow: / User-Agent: * Disallow: /favicon.ico Disallow: /img/ Disallow: /*.gif$ Disallow: /*.php$ Disallow: /impressum.html Disallow: /thumbnails/ Disallow: /font/ Disallow: /css/ Disallow: /js/ Disallow: /error/ Disallow: /contact/ Disallow: /jZ639Ni_lIIllIlhe83_o0z1s_xXZ/ Disallow: /pics/mil.jpg Disallow: /Banner/ Disallow: /mspheader/ Disallow: /test/ Allow: /index.html Allow: /music.html Allow: /downloads.html Allow: /news.html Allow: /about.html Allow: /lyrix.html Allow: /pics/ Allow: /lyrics/ Allow: /store.html Sitemap: http://www.theyorecords.de/sitemap.xml Sitemap: http://www.theyorecords.de/sitemap-news.xml
lg
Beitrag zuletzt geändert: 7.7.2012 2:11:37 von czibere -
czibere schrieb:
yorecords schrieb:
also ich sehe das ganze so (fedora16/FF/Opera)
Aber wenn das wirklich so ist, wieso sind dann nicht alle Zeilenumbrüche weg?
Im Endeffekt werden sie ja teilweise sogar verschoben.. Was am Anfang z.B.
User-Agent: *
Disallow: 1.html
ist, ist nach dem Hochladen
User-Agent: *Disallow:
1.html
wenn das von dem abweicht, sollte an win(progs) 'scheitern'User-agent: QualidatorSiteAnalyzer Disallow: User-agent: EmailCollector Disallow: / User-agent: GagaRobot Disallow: / User-Agent: * Disallow: /favicon.ico Disallow: /img/ Disallow: /*.gif$ Disallow: /*.php$ Disallow: /impressum.html Disallow: /thumbnails/ Disallow: /font/ Disallow: /css/ Disallow: /js/ Disallow: /error/ Disallow: /contact/ Disallow: /jZ639Ni_lIIllIlhe83_o0z1s_xXZ/ Disallow: /pics/mil.jpg Disallow: /Banner/ Disallow: /mspheader/ Disallow: /test/ Allow: /index.html Allow: /music.html Allow: /downloads.html Allow: /news.html Allow: /about.html Allow: /lyrix.html Allow: /pics/ Allow: /lyrics/ Allow: /store.html Sitemap: http://www.theyorecords.de/sitemap.xml Sitemap: http://www.theyorecords.de/sitemap-news.xml
lg
Hab das Problem wie gesagt schon gelöst indem ich die robots.txt im normalen Windows Notepad gespeichert habe. -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
