Re: rsync (unterschiedliche Grössen)
David Raab
> unterschiedlich gross ist als das Ziel; dies ist aber nicht immer der
> Fall, oft ist die Anzahl der Bits aber auch zu 100% gleich. Die Anzahl
> der Dateien und die Anzahl der Unterordner ist nach Beendigung von rsync
> immer identisch.
>
> Muss ich mir sorgen machen, dass doch nicht alle Daten vollständig
> geschrieben wurden?
Also wenn nach einem rsync alles identisch ist, hat das Synchronisieren
doch geklappt. Das danach die Quelldateien wieder eine andere größe
haben können liegt wohl daran das sie ja eben wieder geändert werden
(können).
Ansonsten verstehe ich deine Frage nicht wirklich?
Weiterhin musst du noch beachten das sich die Dateigröße, wie auch immer
du sie ermittelst, zwischen Systemen wirklich unterschiedlich sein kann.
Die Dateigröße hängt noch vom Dateisystem ab. Manche Programme (du)
berechnen die größe auf der Festplatte und nicht die "echte" größe. Und
die kann für die gleiche Dateien variieren durch sparse blöcke,
fragmentierung, indirekte blöcke etc.
--
Haeufig gestellte Fragen und Antworten (FAQ):
http://www.de.debian.org/debian-user-german-FAQ/
Zum AUSTRAGEN schicken Sie eine Mail an debian-user-g...@lists.debian.org
mit dem Subject "unsubscribe". Probleme? Mail an listm...@lists.debian.org (engl)
Archive: http://lists.debian.org/4CD805E2...@david-raab.de
Heiko Schlittermann
> Hallo Zusammen,
>
> ich benutze folgenden Befehl zur Sicherung (z. Zt. ohne --delete und
> anderen Optionen, ich teste rsync und nutze es per Hand):
>
> rsync -avz quelle ziel/
>
> Bei der Datensicherung ist mir aufgefallen, dass bei rsync die Quelle
> unterschiedlich gross ist als das Ziel; dies ist aber nicht immer der
> Fall, oft ist die Anzahl der Bits aber auch zu 100% gleich. Die Anzahl
> der Dateien und die Anzahl der Unterordner ist nach Beendigung von rsync
> immer identisch.
Wie hast Du die Größen verglichen? Vergleichst Du logische oder
physikalische Größe? Letztere könnte schon unterschiedlich sein. Kannst
Du eine Veränderung der Quelle nach der Sicherung ausschließen? (Und
auch eine Veränderung des Ziels?)
> Muss ich mir sorgen machen, dass doch nicht alle Daten vollständig
> geschrieben wurden?
Ja.
Du könntest einen zweiten rsync-Lauf anstoßen, mal mit
rsync -avzin …
Da bekommst Du dann sehr gut zu sehen, wer noch warum gesynct werden
will (ohne es wirklich zu tun). Und dann kannst Du nach Erklärungen
suchen. Wenn rsync dann immer noch der Meinung ist, daß nichts zu tun
ist, obwohl Deine Files unterschiedliche logische Größe haben, dann hast
Du ein Problem.
--
Heiko :: dresden : linux : SCHLITTERMAN.de
GPG Key 48D0359B : 3061 CFBF 2D88 F034 E8D2 7E92 EE4E AC98 48D0 359B
[ML] Michael Windelen
>
> Ich habe angefangen, umfangreiche Daten von verschiedenen Datenträgern
> jetzt auf eine externe Platte zu sichern.
> Dabei ist mir aufgefallen, dass *in allen Fällen* die Anzahl der
> Dateien, und Unterverzeichnisse zwischen Quelle und Ziel übereinstimmt.
> Soweit war ich zufrieden. Nun verglich ich die Verzeichnisgrössen
> miteinander, um zu schauen, ob es da Unterschiede gab? ... in etwa 50%
> waren die Verzeichnisgrössen, die im Grunde gleich sein mussten
> unterschiedlich.
> Die Grösse der Dateien habe ich durch den Krusader ermittelt (vielleicht
> nicht das richtige Werkzeug? 'du' schätzt laut manual, deswegen nutzte
> ich den Krusader).
>
> Danke für die vorangegangene Erklärung. Ich schreibe gleich noch eine
> weitere Frage genau zu diesem Thema, und zu einer anderen Antwort.
> Sicher kommt man dem Rätsel auf die Spur ...
>
> Liebe Grüsse,
> Karsten
>
>
>
Bilde doch mal Checksummen von den Dateien (oder einem Teil). Wenn die
mit den Checksummen von den Originaldateien übereinstimmen ist die Welt
in Ordnung.
Welche Dateisysteme nutzt du auf der Quelle bzw. auf der Zielpartition?
Beispielsweise NTFS (oder btrfs) beherrschen Datenkompression auf
Wunsch, da unterscheidet sich der Platz auf der Platte von der
eigentlichen Dateigröße.
Grüße
--
Michael
-
Bitte kein Cc an mich, ich lese die Liste.
--
Haeufig gestellte Fragen und Antworten (FAQ):
http://www.de.debian.org/debian-user-german-FAQ/
Zum AUSTRAGEN schicken Sie eine Mail an debian-user-g...@lists.debian.org
mit dem Subject "unsubscribe". Probleme? Mail an listm...@lists.debian.org (engl)
Jochen Schulz
>
> Darf ich fragen, wie ich die logische Grösse ermitteln und die
> miteinander gespeicherten Daten in der logischen Grösse vergleichen
> kann?
du -b
Bezüglich der "Schätzung" von du: diese Formulierung irritiert mich,
kommt aber auch entsprechen in der englischen manpage vor ("estimate").
Ich gehe davon aus, dass das seinen Ursprung in der Abweichung zwischen
Dateigröße und Platz im Dateisystem hat. Kannst Du, denke ich,
ignorieren.
Wurde eins Deiner Dateisysteme eventuell mit besonderen Optionen
bezüglich der Blockgröße erstellt? Gibt "tune2fs -l /dev/$device"
unterschiedliche Werte für die block size an (sofern es sich um ext234
handelt)?
J.
--
If you do not move for long enough, you might see a rat.
[Agree] [Disagree]
<http://www.slowlydownward.com/NODATA/data_enter2.html>
Heiko Schlittermann
> Hallo Zusammen, hallo Heiko,
> > Wie hast Du die Größen verglichen? Vergleichst Du logische oder
> > physikalische Größe? Letztere könnte schon unterschiedlich sein. Kannst
> > Du eine Veränderung der Quelle nach der Sicherung ausschließen? (Und
> > auch eine Veränderung des Ziels?)
> >
> Die Frage nach logischer und physikalischer Grösse ist sehr interessant.
> Da die physikalische sicher ein und das andere mal abweichen kann müsste
> man logischer Weise die logische Grösse untersuchen.
>
> Darf ich fragen, wie ich die logische Grösse ermitteln und die
> miteinander gespeicherten Daten in der logischen Grösse vergleichen
> kann?
„ls -l“ liefert die logische Größe, mit stat(1) kann man das auch
ermitteln und sich eine schöne Ausgabe zusammenbauen, oder auch mit
find(1) und der Ausgabeoperation -printf.
diff -u \
<(cd DIR-A && find . -type f -printf '%p %s\n') \
<(ssh OTHER "cd DIR-B && find . -type f -printf '%p %s\n'")
Zum Vergleichen kannst Du natürlich auch wieder rsync nehmen. Aber natürlich könnte das
ja wieder die selben Fehler machen. Um sicher zu sein, könntest Du
Prüfsummen vergleichen (kann auch rsync mit „-c“).
Etwa so:
cd DIR-A && md5sum -c <(ssh OTHER "cd DIR-B && find -type f -exec md5sum {} +")
Heiko Schlittermann
> Hallo Heiko,
>
> ich sichere mit rsync z.B. zwei Verzeichnisse
>
> Die Quelle etxt3 (interne Platte): /home/archiv/bilder
> Das Ziel ext3 (externe Platte): /media/disk/archiv/bilder
>
> Der Befehl du -bs folgende Ergebnisse:
> Q: 10088995080
> Z: 10089007368
Moment - Du vergleichst hier die Summe der Objekte unterhalb des
Verzeichnisses bilder/?
Probier doch mal folgendes, *lokal* in einem leeren Verzeichnis.
mkdir -p a/b
rsync -av a x
du -bs ax
Und Du wirst eine Differenz feststellen. Jedenfalls bei mir sind die
Ausgaben unterschiedlich!
Warum? „du -bs XXX“ liefert die Gesamtgröße aller Objekte unterhalb von
XXX, wenn XXX ein Verzeinis ist. Die Betonung liegt auf *Objekte*. Files
sind mit Sicherheit ebenso groß wie vorher. Aber Ordner? In meinem
kleinen Beispiel oben siehst Du, daß es nicht so ist.
Bei Dir ist das Original größer als das Ziel, in meinem Beispiel ist es
umgekehrt. Ein anderes Beispiel:
mkdir a
ls -ld a
mkdir a/{1..1000}
ls -ld a
rmdir a/*
ls -ld a
Die Erklärung überlasse ich jetzt erstmal Dir, ich mache Feierabend.
Wenn Du's nicht rausfindest, sag' Bescheid.