Robots

“Mat Zo – Robots Never Lie” ist der Song aus dem Film Robot Overlords.

Leider indexiert Google auch Plesk. Es ist nur bei der Suche etwas unschön, daher muss man Google mitteilen das man das nicht indexiert haben möchte. 1. Mit der Robots.txt in Plesk-Verzeichnis anlegen. User-agent: * Disallow: / Das Plesk Verzeichnis befindet sich ab Plesk 9 unter /opt/psa/admin/htdocs, in Versionen darunter in /usr/local/psa/admin/htdocs Wichtig nun ist, die […]

Ich hatte schon öfters das Problem, das ich bsp. alle PDF Dateien, TXT Dateien oder MP3 Dateien einer Webseite downloaden wollte. Leider klappte das so wie ich nicht wollte, doch mit wget geht das ganz einfach. wget -e robots=off -np -nd -A ".mp3" -r -l1 http://domain.tld/path/to/files/ In diesem Beispiel downloade ich MP3 Dateien auf 1 […]