Webseiten aus Suchergebnissen herunterladen

» Willkommen auf Internet und Netzwerk «

Neues Thema Antworten

gabiza7
offline

OC Profi
14 Jahre dabei !

AMD Athlon II
2700 MHz @ 3700 MHz
46°C mit 1.475 Volt

Hallo zusammen,

ich habe eine Frage bezüglich Suchmaschinen und dem automatischen Download von Webseiten: Wenn ich jetzt nach Seiten mit einem bestimmten Inhalt in einer Suchmaschine suche (z.B. nach Grafikkarten), kann ich mir dann die Webseiten hinter den Suchergebnissen im Stapel runterladen? Mit dem wget-Befehl und auch einigen anderen Tools kann man sich ja problemlos mehrere (Web)seiten mit variabler Rekursionsstufe hintereinander herunterladen, aber bei Suchmaschinen ist das ja ein Problem. Wenn ich zum Beispiel den Google-Suchlink von Grafikkarten in wget reinwerfe, lädt er mir natürlich die ganzen Seiten hinter den Links von Google selbst runter, aber nicht die Seiten aus den Suchergebnissen. Kennt jemand ein Tool, das sowas kann?

Beiträge gesamt: 932 | Durchschnitt: 0 Postings pro Tag
Registrierung: Feb. 2010 | Dabei seit: 5175 Tagen | Erstellt: 17:56 am 8. Sep. 2014

ocinside aus Krefeld offline Administrator 22 Jahre dabei ! Intel Core i9 3600 MHz @ 5200 MHz 78°C mit 1.552 Volt	Was hast du denn genau vor und vor allem um wie viele Abfragen geht es hinterher ? Denn automatisierte Suchanfragen über Google werden wahrscheinlich damit enden, daß Google die Suche zumindest bei zu vielen Abfragen ablehnt. Hardware News lesen * Unterhalten * Smarthome und Gadgets Übertakten, Modding und Testberichte * Fanartikel kaufen
	Beiträge gesamt: 169708 \| Durchschnitt: 20 Postings pro Tag Registrierung: April 2001 \| Dabei seit: 8390 Tagen \| Erstellt: 18:04 am 8. Sep. 2014

gabiza7 offline OC Profi 14 Jahre dabei ! AMD Athlon II 2700 MHz @ 3700 MHz 46°C mit 1.475 Volt	Also mir wär schon geholfen, wenn ich in einem Abwasch so zehn bis 20 Seiten runterladen könnte, also zehn bis 20 Abfragen. Ich denke, dass sich Google da noch nicht sperrt. Es geht halt darum, dass ich verschiedene Seiten zu einem Themenkomplex runterladen will.
	Beiträge gesamt: 932 \| Durchschnitt: 0 Postings pro Tag Registrierung: Feb. 2010 \| Dabei seit: 5175 Tagen \| Erstellt: 19:30 am 8. Sep. 2014

ocinside aus Krefeld offline Administrator 22 Jahre dabei ! Intel Core i9 3600 MHz @ 5200 MHz 78°C mit 1.552 Volt	Bei einer täglichen Abfrage sehe ich da auch kein Problem. Und die Daten der Suchabfragen (URL und Domain, o.ä.) sollen dann regelmäßig in ein Excel Sheet oder eine Datenbank importiert werden ? Hardware News lesen * Unterhalten * Smarthome und Gadgets Übertakten, Modding und Testberichte * Fanartikel kaufen
	Beiträge gesamt: 169708 \| Durchschnitt: 20 Postings pro Tag Registrierung: April 2001 \| Dabei seit: 8390 Tagen \| Erstellt: 19:36 am 8. Sep. 2014

gabiza7 offline OC Profi 14 Jahre dabei ! AMD Athlon II 2700 MHz @ 3700 MHz 46°C mit 1.475 Volt	Excel-Sheet oder Textdatei in der einzelnen Links stehen, wäre vollkommen ausreichend. Es geht mir ja eigentlich darum, die Seiten runterzuladen. Dann würde ich mir mit wget einfach die Seiten hinter den Links ziehen.
	Beiträge gesamt: 932 \| Durchschnitt: 0 Postings pro Tag Registrierung: Feb. 2010 \| Dabei seit: 5175 Tagen \| Erstellt: 21:19 am 8. Sep. 2014

ocinside
aus Krefeld
offline

Administrator
22 Jahre dabei !

Intel Core i9
3600 MHz @ 5200 MHz
78°C mit 1.552 Volt

Bei wget gab es eine --spider Option, womit die Seiten nicht runtergeladen werden, sondern lediglich angezeigt.
Wenn du das dann mit -o oder besser noch nur die Links mit -o -nv in eine Log Datei speichern lässt, solltest du die Links in der Log Datei stehen haben.

Oder die Seite mitsamt der Links herunterladen lassen und dann z.B. mit dem Befehl find durchsuchen und die Ausgabe davon in eine Datei schreiben.
Wenn du das dann hinterher in eine .bat Datei schreibst, könntest du das auch automatisieren.

Last but not least könnte man evtl. sogar in Excel eine Webabfrage dafür erstellen, denn Excel kann eigentlich alles

Ist natürlich alles nicht "mal eben" gemacht, aber Wege gibt es ...
Ich bin aber wie gesagt nicht ganz sicher, ob es erlaubt ist - also alles nur rein hypothetisch

Hardware News lesen * Unterhalten * Smarthome und Gadgets
Übertakten, Modding und Testberichte * Fanartikel kaufen

Beiträge gesamt: 169708 | Durchschnitt: 20 Postings pro Tag
Registrierung: April 2001 | Dabei seit: 8390 Tagen | Erstellt: 9:10 am 9. Sep. 2014

gabiza7 offline OC Profi 14 Jahre dabei ! AMD Athlon II 2700 MHz @ 3700 MHz 46°C mit 1.475 Volt	Vielen Dank für deine Antwort - das mit den Seiten durchsuchen ist ne gute Idee, das werd ich dann mal versuchen.
	Beiträge gesamt: 932 \| Durchschnitt: 0 Postings pro Tag Registrierung: Feb. 2010 \| Dabei seit: 5175 Tagen \| Erstellt: 12:49 am 12. Sep. 2014

Neues Thema Antworten