–no-clobber: Überschreiben Sie keine vorhandenen Dateien (wird für den Fall verwendet, dass der Download unterbrochen und fortgesetzt wird). Auf einigen Websites müssen Sie sich anmelden, um auf die Inhalte zuzugreifen, die Sie herunterladen möchten. Verwenden Sie die folgenden Schalter, um den Benutzernamen und das Kennwort anzugeben. Hatten Sie jemals dieses schreckliche Gefühl, dass Sie lebenswichtige Ressourcen von Ihrer Website verloren haben? Sie können eine Eingabedatei einrichten, die von vielen verschiedenen Websites heruntergeladen werden soll. Öffnen Sie eine Datei mit Ihrem bevorzugten Editor oder dem Cat-Befehl und listen Sie die Websites oder Links auf, die sie in jeder Zeile der Datei herunterladen können. Speichern Sie die Datei, und führen Sie dann den folgenden wget-Befehl aus: Nun, da Sie ein gewisses Verständnis dafür haben, wie Sie eine ganze Website herunterladen, möchten Sie vielleicht wissen, wie Sie mit einem solchen Archiv umgehen. Viele winzige Dateien sind der Tod vieler Systeme, was bedeutet, dass es völlig langsam zu übertragen, Backup oder Virus scannen es, vor allem, wenn Sie es nicht auf einer SSD halten. Wenn Sie das Archiv nicht aktiv durchsuchen möchten, empfehle ich, es zu komprimieren. Der Hauptgrund ist nicht der Platzbedarf. Wenn sie das Archiv als eine einzelne große Datei oder eine Reihe größerer Dateien haben, ist es leichter zu verwalten. Sie können die RAR Store- oder Fastest Compression-Methode verwenden, um ein Paket schnell zu erstellen. Wenn der Inhalt nicht hauptsächlich Text ist, profitiert er möglicherweise nicht viel von einer zusätzlichen Komprimierung.

Das Vorhandensein eines Wiederherstellungsdatensatzes in einem RAR-Archiv (standardmäßig nicht hinzugefügt) hilft bei Hardwarefehlern wie fehlerhaften Sektoren oder anderen Datenbeschädigungen während der Speicherung oder Übertragung. Die grundlegende Art, es zu verwenden, ist wget url: wget example.org/ Dies ist ein Bündel von bestimmten anderen Einstellungen, alles, was Sie wissen müssen, dass dies das Magische Wort ist, das unendliche Rekursionscrawling ermöglicht. Klingt schick? Weil es so ist! Ohne dies können Sie nicht eine ganze Website herunterladen, da Sie wahrscheinlich nicht über eine Liste von jedem Artikel verfügen. Der Download kann mit einem rekursiven Durchlaufansatz oder dem Besuch jeder URL der Sitemap erfolgen. wget -i grep “” sitemap.xml| sed -e es/[`>>>>>g` Dies lädt die Seiten rekursiv bis zu einem Maximum von 5 Ebenen tief herunter. Fünf Ebenen tief könnte nicht genug sein, um alles von der Website zu bekommen. Verwenden Sie den Schalter -l, um die Anzahl der Ebenen festzulegen, zu denen Sie gehen möchten, wie folgt: Hier sind einige Anwendungsbeispiele, um eine ganze Website herunterzuladen: Konvertieren Sie Links für die lokale Anzeige: wget –mirror –convert-links –page-requisites —-no-parent -P /path/to/download/to example-domain.com Die meisten Einstellungen haben eine kurze Version, aber ich habe nicht die Absicht, diese zu merken oder einzugeben. Der längere Name ist wahrscheinlich aussagekräftiger und erkennbarer.

Ich habe diese speziellen Einstellungen aus dem umfassenden Wget-Handbuch ausgewählt, so dass Sie nicht zu tief tauchen müssen, da es eine relativ lange Lektüre ist. Überprüfen Sie die offizielle Beschreibung dieser Einstellungen, wenn Sie möchten, da hier teile ich nur meine Meinung und warum ich sie gewählt. In der Reihenfolge der Bedeutung, hier sind sie. Dies wird die winapp CDN-Dateien herunterladen, aber nicht die Dateien in den Dateien in den Dateien im gesamten Internet. Der Befehl wget verfügt über eine Reihe von Optionen und Schaltern. Um die Handbuchseite für wget zu lesen, geben Sie Folgendes in ein Terminalfenster ein: wget ist ein nettes Tool zum Herunterladen von Ressourcen aus dem Internet. Es kann verwendet werden, um Bilder, Webseiten oder ganze Websites abzurufen. Es kann nur mit einer URL als Argument oder viele Argumente verwendet werden, wenn Sie den User-Agent fälschen, robots.txt-Dateien ignorieren, rate begrenzen oder anderweitig optimieren müssen. Dadurch ist es möglich, Ihr Archiv lokal zu durchsuchen. Es wirkt sich auf jeden Link aus, der auf eine Seite verweist, die heruntergeladen wird. Ich schließe es nur ein, da ich auf einen Server gelaufen bin, auf dem sich wget für jede Anfrage beschwert hat, dass ich dies verwenden sollte.

Ich beabsichtige nicht, den Prozess später im selben Ordner erneut auszuführen, um die aktuelle Website nachzuholen. Daher spielt es keine große Rolle, wie wget überprüft, ob Dateien auf dem Server geändert wurden. In diesem Handbuch erfahren Sie, wie Sie diesen Linux-Blog herunterladen: –domains website.org: Folgen Sie links außerhalb website.org nicht. Es gibt viele mögliche Anwendungen und Gründe, warum man eine ganze Website herunterladen könnte. Es spielt keine Rolle, ob die Zielseite Ihnen gehört oder nicht. Nebenbei: Seien Sie vorsichtig, was Sie herunterladen.