Große Dateien uploaden

Große Dateien uploaden

Ich hatte das Problem, das ein Kopiervorgangs über scp abgebrochenen wurde.
Wie kann man nun das Fortsetzen ohne neu anzufangen.

Das die Datei sehr groß ist und es eine langsame instabile Leitung ist, sind Verbindungsabbrüche vorprogrammiert.
Bei einem Verbindungsabbruch bei 94% kann dies dann doch etwas nerven zerreibend sein.
Scp unterstützt leider nicht das Fortsetzen eines nur teilweise beendeten Kopiervorgangs. Jetzt müsste man eigentlich wieder von vorne anfangen.
Hat man aber auf beiden Rechnern rsync installiert so kann man den abgebrochenen Kopiervorgang relativ einfach noch zuende bringen.

[sourcecode lang=”bash”]
huskynarr~: rsync —P ——bwlimit=45 ——rsh=ssh username@host:/home/$USER/big.file big.file
366544896 100% 44.67kB/s 2:13:32 (xfer#1, to-check=0/1)
sent 6036 bytes received 365605729 bytes 45613.10 bytes/sec
total size is 366544896 speedup is 1.00
[/sourcecode]

Das Schema funktioniert in etwa so:

  • Der lokale rsync Client baut eine ssh Verbindung zum Host auf und startet dort selbständig einen weiteren rsync Deamon, dieser jedoch nimmt nur Lokalhost Verbindungen auf.
  • Durch den entstandenen SSH-Tunnel verbindet sich der Client mit dem Host.
  • –P ist gleichbedeutend mit ––partial −−progress – was schlicht weg heist, verwirf die unfertigen Dateien nicht, sondern setzte dort fort.
  • −−bwlimit KBYTE/S ermöglicht eine Limitierung der Übertragungsgeschwindigkeit, Angabe in kByte/s