Welche Sprache für einen Web-Bot
lima-city → Forum → Programmiersprachen → Sonstige Programmiersprachen
ahnung
antwort
beispiel
bot
break
code
datenbank
erstellen
frage
freuen
helfen
http
internet
last
programmiersprache
sagen
sprache
url
weben
webseite
-
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Kommt darauf an, was du machen willst. Willst du Foren diggen? Oder Informationen im großen Stil von einer Seite "dataminen"?
Ich hatte mal eine Anwendung geschrieben, die buffed.de (MMORPG-Datenbank) ausgelesen und auf Änderungen gemonitort hat, um eine offline Item-Datenbank zu erstellen. Das ganze war in Java geschrieben.
Aber mal grundsätzlich: die Sprache ist völlig egal. Ob nun Java, C, Ruby, Python oder was auch immer: solange dir die API die Möglichkeit anbietet, dich auf eine Webseite zu verbinden, (und ich kenne keine Sprache, mit der das nicht gänge), kannst du damit Bots schreiben. -
kilian-online schrieb: Ich hab mal eine Frage in welcher Programiersprache es besser ist Web Bots zu schreiben. Ich hab davon noch nicht so die ahnung bin noch anfänger. Würde mich über jede Antwort und jedes Beispiel freuen.
Die beste Art einen Web - Bot zu schreiben ist es bleiben zu lassen. Deswegen gibt es dazu auch keine Hinweise von mir. Eigne dir Ahnung an, dann werde Profi und du wirst es wissen.
ps. Ich würde eine Sprache mit guter Unterstützung von Webtechnologien verwenden. -
europachat schrieb:
Vielleicht mit PHP?
Ja, geht unter anderem auch, aber wenn man was anderes zur Auswahl hat, würde ich das andere nehmen. -
Was soll der Bot machen? Ich habe meine Crawler mit Delphi geschrieben und über Jahre hinweg verbessert. Wegen der Performance habe ich irgendwann auch inline-Assembler verwendet.
-
Wie gesagt, die Sprache ist egal. Hier hast du mal ein Beispiel in C, das dir die ersten 2000 Lima-Nutzer ausgibt:
(Ich weiß, da kann man noch vieles schöner machen, aber mehr als 30 Minuten, wollte ich da nicht investieren.)
#include <errno.h> #include <netinet/in.h> #include <stdio.h> #include <sys/types.h> #include <sys/socket.h> #include <string.h> int readPage (int sock, int p) { char msg [1000]; sprintf (msg, "GET /profiles/page:%d/perpage:100 HTTP/1.1\r\nHost: www.lima-city.de\r\n\r\n", p); printf (">> %s\n", msg); write (sock, msg, strlen (msg) ); char con [1000000]; int i = 0; int r; while (42) { r = read (sock, &con [i], 1); if (r == -1) return -1; if (r == 1) { if (i > 3) if (con [i - 3] == 13 && con [i - 2] == 10 && con [i - 1] == 10 && con [i] == 13) break; i++; } } con [i] = 0; char *cur = con; char *found; char *last; char name [1000]; i = 0; while (found = strstr (cur, "href=\"/profile/") ) { found += 15; last = strchr (found, '"'); strncpy (name, found, last - found); name [last - found] = 0; printf ("%s\n", name); cur = found + 1; i ++; } return i; } int main () { struct sockaddr_in addr; addr.sin_family = AF_INET; addr.sin_port = htons (80); inet_aton ("85.25.124.233", &addr.sin_addr.s_addr); int sock = socket (AF_INET, SOCK_STREAM, 0); if (connect (sock, (struct sockaddr*) &addr, sizeof (addr) ) ) { printf ("error %d\n", errno); return -1; } int i = 0; int code; while (i < 20) { switch (readPage (sock, i) ) { case 0: break; case -1: printf ("resetting\n"); shutdown (sock, SHUT_RDWR); sock = socket (AF_INET, SOCK_STREAM, 0); if (connect (sock, (struct sockaddr*) &addr, sizeof (addr) ) ) { printf ("error %d\n", errno); return -1; } break; default: ++ i; } } shutdown (sock, SHUT_RDWR); return 0; }
Kompilieren und Ausführen mit:
gcc nameunterdemdudencodegespeicherthast ./a.out
Beitrag zuletzt geändert: 3.9.2009 20:30:50 von census -
Hab damals für nen Browsergame ein paar Bots entwickelt die einem die Arbeit abnehmen. Nur muss ich dich warnen, dass man sich damit so einige "Freunde" macht
...
Verwendet habe ich dafür VB in Verbindung mit dem Visual Studio 2003 oder 2005 ... ka
Da gibt es so ein tolles WebBrowserControll. Damit kann man praktisch alles machen was du auf ner Website auch manuel machen kannst. Mr. Google hilft dir da aber sicher weiter.
MfG
Faultier -
Wenn du uns auch noch verraten würdest, was der Bot tun soll, wäre es um einiges leichter dir zu helfen.
-
Und verrate uns noch, welche Programmier Sprachen du kannst, dann können wir dir sagen, aus welcher du es Programmieren sollst.
-
kilian-online schrieb:
Ich hab mal eine Frage in welcher Programiersprache es besser ist Web Bots zu schreiben. Ich hab davon noch nicht so die ahnung bin noch anfänger. Würde mich über jede Antwort und jedes Beispiel freuen.
Hallo,
Was soll denn dein Web Bot machen?
Für die ersten Versuche könntest du z.B. das Programm HTTPGet http://www.softpedia.com/get/Internet/Download-Managers/HTTPGet.shtml benutzen, um eine Webseite runter zu laden.
Für die Analyse der Webseite kannst du die Programmiersprache deiner Wahl benutzen, wobei es dafür meiner Meinung nach geeignete, wenig geeignete und überhaupt nicht geeignete Programmiersprachen gibt.
Perl http://de.wikipedia.org/wiki/Perl_(Programmiersprache) ist z.B. für die Bearbeitung von Texten entwickelt worden und daher geeignet. Für Downloads von Webseiten sind auch zahlreiche freie Skripte für Perl im Internet erhältlich. Perl ist allerdings ziemlich Kryptisch und erfordert einen gewissen Aufwand für die Einarbeitung.
Gruß,
Josef
Beitrag zuletzt geändert: 19.9.2009 17:00:49 von unilangtrain -
Hey
Ich würde auch sehr gerne einen Web bot erstellen...
Kann mir jemand helfen mit beispiel vielleicht?
Hab ne eigene .de-Domain und jetzt hier nen account
Würde mich freuen wenn mir einer sagen könnte wie ich vorgehen soll
Der web bot soll für das Browsergame travian sein und immer wieder die Farmliste losschiken
Geht sowas überhaupt?
Gruß -
peti1997 schrieb:
Schau dich einfach einmal auf autoitbot.de um, da bist du unter gleichgesinnten.
Der web bot soll für das Browsergame travian sein und immer wieder die Farmliste losschiken
Geht sowas überhaupt?
Gruß -
peti1997 schrieb:
Der web bot soll für das Browsergame travian sein und immer wieder die Farmliste losschiken
Geht sowas überhaupt?
Es würde mich sehr wundern, wenn das im Falle von Travian erlaubt ist. Aber mach ruhig. Da du kaum Ahnung von dem hast, was du tust, werden die Travian-Admins sehr schnell merken, dass du schummelst.
Und da der Thread alt ist und bei so vagen Fragestellungen keine Diskussionsgrundlage besteht *closed* -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
