Webseiten aus Suchergebnissen herunterladen

- OCinside.de PC Forum
https://www.ocinside.de

-- Internet und Netzwerk
https://www.forum-inside.de/forums.cgi?forum=21

--- Webseiten aus Suchergebnissen herunterladen
https://www.forum-inside.de/topic.cgi?forum=21&topic=1808

-- Veröffentlicht durch gabiza7 am 12:49 am 12. Sep. 2014

Vielen Dank für deine Antwort :thumb: - das mit den Seiten durchsuchen ist ne gute Idee, das werd ich dann mal versuchen.

-- Veröffentlicht durch ocinside am 9:10 am 9. Sep. 2014

Bei wget gab es eine --spider Option, womit die Seiten nicht runtergeladen werden, sondern lediglich angezeigt.
Wenn du das dann mit -o oder besser noch nur die Links mit -o -nv in eine Log Datei speichern lässt, solltest du die Links in der Log Datei stehen haben.

Oder die Seite mitsamt der Links herunterladen lassen und dann z.B. mit dem Befehl find durchsuchen und die Ausgabe davon in eine Datei schreiben.
Wenn du das dann hinterher in eine .bat Datei schreibst, könntest du das auch automatisieren.

Last but not least könnte man evtl. sogar in Excel eine Webabfrage dafür erstellen, denn Excel kann eigentlich alles :thumb:

Ist natürlich alles nicht "mal eben" gemacht, aber Wege gibt es ...
Ich bin aber wie gesagt nicht ganz sicher, ob es erlaubt ist - also alles nur rein hypothetisch ;)

-- Veröffentlicht durch gabiza7 am 21:19 am 8. Sep. 2014

Excel-Sheet oder Textdatei in der einzelnen Links stehen, wäre vollkommen ausreichend. Es geht mir ja eigentlich darum, die Seiten runterzuladen. Dann würde ich mir mit wget einfach die Seiten hinter den Links ziehen.

-- Veröffentlicht durch ocinside am 19:36 am 8. Sep. 2014

Bei einer täglichen Abfrage sehe ich da auch kein Problem.
Und die Daten der Suchabfragen (URL und Domain, o.ä.) sollen dann regelmäßig in ein Excel Sheet oder eine Datenbank importiert werden ?

-- Veröffentlicht durch gabiza7 am 19:30 am 8. Sep. 2014

Also mir wär schon geholfen, wenn ich in einem Abwasch so zehn bis 20 Seiten runterladen könnte, also zehn bis 20 Abfragen. Ich denke, dass sich Google da noch nicht sperrt. Es geht halt darum, dass ich verschiedene Seiten zu einem Themenkomplex runterladen will.

-- Veröffentlicht durch ocinside am 18:04 am 8. Sep. 2014

Was hast du denn genau vor und vor allem um wie viele Abfragen geht es hinterher ?
Denn automatisierte Suchanfragen über Google werden wahrscheinlich damit enden, daß Google die Suche zumindest bei zu vielen Abfragen ablehnt.

-- Veröffentlicht durch gabiza7 am 17:56 am 8. Sep. 2014

Hallo zusammen,

ich habe eine Frage bezüglich Suchmaschinen und dem automatischen Download von Webseiten: Wenn ich jetzt nach Seiten mit einem bestimmten Inhalt in einer Suchmaschine suche (z.B. nach Grafikkarten), kann ich mir dann die Webseiten hinter den Suchergebnissen im Stapel runterladen? Mit dem wget-Befehl und auch einigen anderen Tools kann man sich ja problemlos mehrere (Web)seiten mit variabler Rekursionsstufe hintereinander herunterladen, aber bei Suchmaschinen ist das ja ein Problem. Wenn ich zum Beispiel den Google-Suchlink von Grafikkarten in wget reinwerfe, lädt er mir natürlich die ganzen Seiten hinter den Links von Google selbst runter, aber nicht die Seiten aus den Suchergebnissen. Kennt jemand ein Tool, das sowas kann?