Wget

Wieder einmal habe ich einen netten FTP Server beim stöbern entdeckt. Nun, wie downloadet man das ganze am einfachsten? Vor allem bei dem CLI? wget -r -l 20 ftp://username:[email protected]/htdocs/*

Auf der Suche heute nach Möglichkeiten große XML Dateien zu parsen, viel mir auf, das es sich erst einmal lohnt diese zu downloaden. Das spart vor allem erheblich an der Performance. Mein erster Gedanke war das ganze per Curl zu downloaden. Kurze Zeit später war mir klar, get ist sinnvoller. wget "http://huskynarr.de/atom.xml?redirect=false&start-index=1&max-results=1500" –output-document=test.xml

Gründe für Zertifikatsfehler, weshalb wget seinen Dienst verweigert könnten sein: FEHLER: Dem Zertifikat von »domain.tld« wird nicht vertraut. FEHLER: Das Zertifikat von »»domain.tld«« wurde von einem unbekannten Austeller herausgegeben. Der Zertifikat-Eigentümer paßt nicht zum Hostname »»domain.tld««. u.v.m. Möchte man die Warnung ignorieren, muss man dies nur per Parameter anweisen: wget –no-check-certificate

Ich hatte schon öfters das Problem, das ich bsp. alle PDF Dateien, TXT Dateien oder MP3 Dateien einer Webseite downloaden wollte. Leider klappte das so wie ich nicht wollte, doch mit wget geht das ganz einfach. wget -e robots=off -np -nd -A ".mp3" -r -l1 http://domain.tld/path/to/files/ In diesem Beispiel downloade ich MP3 Dateien auf 1 […]

Ab und zu muss man nicht nur generierte Dateien downloaden, manchmal kommt es auch vor das man den htaccess Passwort Schutz benötigt. wget hat hierfür vorgesorgt. Die Parameter sind ganz einfach: –user=userName –password=passWord Hier ein Beispiel wget –user=USERNAME –password=’PASSWORT’ http://huskynarr.de/files/geheimesarchiv/datei.Endung

Oftmals möchte man direkt auf dem Server etwas von Sourceforge downloaden. Leider gibt Bash dann Probleme beim einfach wget zurück. Nun habe ich auch den korrekten Befehl dafür. Wget folgt eigentlich Redirects automatisch. Aber was ist wenn es eine download.php ist oder ein Pfad wie bei Sourceforge? Normalerweise macht man: wget ‘http://downloads.sourceforge.net/project/romfs/genromfs/0.5.2/genromfs-0.5.2.tar.gz’ In dem Fall […]