Sie sind aktuell nicht angemeldet.

Funktionen: Einloggen  |  Neu registrieren  |  Suchen

Hilfe bei Crawler-Projekt
Autor: Easyrider
Datum: 17.02.05 11:40
Hi Boarder, ich überleg mir einen Crawler für das Internet zu schreiben. Ich weiß das es schon einige gibt, aber mir gehts hier mehr um den Lern-Effekt. Folgendes muss der Robot können: - Der Benutzer gibt ein Zahl von Stichwörter, nach denen gesucht werden soll, ein. - Entweder es wird eine Startseite vom Benutzer festgelegt oder der Robot nimmt eine Standart-Seite (www.heise.de z. B.). - Seiten nach Stichwörter absuchen. - Allen gefundenen Links nachgehen, die noch nicht gescannt worden sind - Wurde ein Schlagwort auf einer Seite gefunden soll der Link dazu gespeichert werden. Dies muss so geschehen das der Benutzer den Link sofort sehen kann. - Ein Speichermaximum kann angegeben werden falls zuviele Links gefunden worden sind. - Der Robot soll den Prozessor nicht bis zu mehr als 80 % auslasten. Ich hab mir das irgendwie so vorgestellt das du dem Robot eine Startseite vorgibst. Hier beginnt der Scan nach Schlagwörtern. Danach beginnt er mit Multithreading (eher Threadpool) die Links zu öffnen, nachdem eine überprüfung auf bereits vorhandenen Scan des Links gemacht worden ist. Ist er noch nicht wird er in die Datenbank eingetragen und geöffnet. In der neu geöffneten Seite soll nun wiederum nach den Schlagwörtern gescannt werden. Nun wieder alle Links auslesen.... usw Ich bin für jede Hilfe / Tip / Bemerkung / Kommentar dankbar der mir hier was sagt. mfg Easy P.S.: Das Projekt wird erst geplant. Und wer Lust hat mitzumachen soll mich kontaktieren.

Hilfe bei Crawler-Projekt

928

Easyrider

17.02.05 11:40

Sie sind nicht angemeldet! Um auf diesen Beitrag zu antworten oder neue Beiträge schreiben zu können, müssen Sie sich zunächst anmelden. Einloggen  |  Neu registrieren

Funktionen:  Zum Thema  |  Gesamtübersicht

Suchen