Webcrawler programmieren
lima-city → Forum → Programmiersprachen → PHP, MySQL & .htaccess
ausgeben
beantworten
datei
domain
funktion
gewonnenen daten
http
interessieren
links auslesen
programmieren
regel
server
suche
tag
test
url
webseite
weilchen
-
Hallo,
mich würde mal tag/interessieren">interessieren, wie man einen Webcrawler programmieren kann.
Ich hab mich da informiert, und herausgefunden, dass man auf einer Webseite einfach alle Links auslesen muss und dann auf den verlinkten seiten wieder und wieder...
Aber was müsste man sonst noch machen, und wie kann ich in PHP alle Links auf einer Seite ausgeben?
mfg
mmc -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
1. mit PHP und Lima ist das glaub ich unmöglich da dadurch auch der Server sehr belastet würde.
2. Ich hab schon mal versucht mit Python einen Crawler zu machen und das ist nicht besonders leicht da heutzutage viele Links Javabefehele sind oder sie nur zu einer Datei statt zu einer Domain/Ip führen. Auch enstehen bei jeder Seite immer mehr Links die nacheinanader gecrawlt werden müssen. -
@mmc
... und wie kann ich in PHP alle Links auf einer Seite ausgeben?
eine ganz rudimentäre lösung mit source-kode natürlich. (mein server ist in der regel fast am ganzen tag erreichbar [oder mein provider hat mir mal wieder sein ip verpasst, dann bin ich ein weilchen weg]. ich habe es da aufgenommen, weil lima sowas sonst nicht beantworten mag [siehe @krisi12345] :o)
'rekursiv' machst du die suche dadurch, dass du die funktion mit den gewonnenen daten wieder und wieder aufrufst. -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
