OCinside.de PC Forum > Antworten in Webseiten aus Suchergebnissen herunterladen

Beitragsrückblick für Webseiten aus Suchergebnissen herunterladen (die neuesten Beiträge zuerst)
gabiza7	Erstellt: 12:49 am 12. Sep. 2014
	Vielen Dank für deine Antwort - das mit den Seiten durchsuchen ist ne gute Idee, das werd ich dann mal versuchen.
ocinside	Erstellt: 9:10 am 9. Sep. 2014
	Bei wget gab es eine --spider Option, womit die Seiten nicht runtergeladen werden, sondern lediglich angezeigt. Wenn du das dann mit -o oder besser noch nur die Links mit -o -nv in eine Log Datei speichern lässt, solltest du die Links in der Log Datei stehen haben. Oder die Seite mitsamt der Links herunterladen lassen und dann z.B. mit dem Befehl find durchsuchen und die Ausgabe davon in eine Datei schreiben. Wenn du das dann hinterher in eine .bat Datei schreibst, könntest du das auch automatisieren. Last but not least könnte man evtl. sogar in Excel eine Webabfrage dafür erstellen, denn Excel kann eigentlich alles Ist natürlich alles nicht "mal eben" gemacht, aber Wege gibt es ... Ich bin aber wie gesagt nicht ganz sicher, ob es erlaubt ist - also alles nur rein hypothetisch
gabiza7	Erstellt: 21:19 am 8. Sep. 2014
	Excel-Sheet oder Textdatei in der einzelnen Links stehen, wäre vollkommen ausreichend. Es geht mir ja eigentlich darum, die Seiten runterzuladen. Dann würde ich mir mit wget einfach die Seiten hinter den Links ziehen.
ocinside	Erstellt: 19:36 am 8. Sep. 2014
	Bei einer täglichen Abfrage sehe ich da auch kein Problem. Und die Daten der Suchabfragen (URL und Domain, o.ä.) sollen dann regelmäßig in ein Excel Sheet oder eine Datenbank importiert werden ?
gabiza7	Erstellt: 19:30 am 8. Sep. 2014
	Also mir wär schon geholfen, wenn ich in einem Abwasch so zehn bis 20 Seiten runterladen könnte, also zehn bis 20 Abfragen. Ich denke, dass sich Google da noch nicht sperrt. Es geht halt darum, dass ich verschiedene Seiten zu einem Themenkomplex runterladen will.

Weniger Antworten Mehr Antworten

ocinside	Erstellt: 18:04 am 8. Sep. 2014
	Was hast du denn genau vor und vor allem um wie viele Abfragen geht es hinterher ? Denn automatisierte Suchanfragen über Google werden wahrscheinlich damit enden, daß Google die Suche zumindest bei zu vielen Abfragen ablehnt.
gabiza7	Erstellt: 17:56 am 8. Sep. 2014
	Hallo zusammen, ich habe eine Frage bezüglich Suchmaschinen und dem automatischen Download von Webseiten: Wenn ich jetzt nach Seiten mit einem bestimmten Inhalt in einer Suchmaschine suche (z.B. nach Grafikkarten), kann ich mir dann die Webseiten hinter den Suchergebnissen im Stapel runterladen? Mit dem wget-Befehl und auch einigen anderen Tools kann man sich ja problemlos mehrere (Web)seiten mit variabler Rekursionsstufe hintereinander herunterladen, aber bei Suchmaschinen ist das ja ein Problem. Wenn ich zum Beispiel den Google-Suchlink von Grafikkarten in wget reinwerfe, lädt er mir natürlich die ganzen Seiten hinter den Links von Google selbst runter, aber nicht die Seiten aus den Suchergebnissen. Kennt jemand ein Tool, das sowas kann?