Wie archiviert man viele Dateien auf mehrere optische Medien?
Thorsten Gunkel
ich frage mich schon länger wie man folgende Aufgabe eigentlich möglichst
einfach löst:
- Es gibt eine größere Anzahl Dateien
- Diese sollen (einmalig) auf ein Medium gesichert werden, welches
deutlich kleiner ist als die Summe aller Dateien.
- Dafür sollen Standardtools verwendet werden, die man auch in ein paar
Jahren noch auf einem durchschnittlichen Linuxrechner wiederfindet.
Damit man eine Diskussionsgrundlage hat, angenommen es ginge um
40.000 Dateien, durchschnittlich 1 MB groß und diese sollen auf DVDs mit
einer Größe von 4.000 MB.
Die einfachste Variante scheint mir, mit tar ein Archiv mit allen Dateien
zu erzeugen, dann mit split aufteilen und brennen. Besonders schön finde
ich das aber nicht. tar selbst kann ja wohl auch bei einer vorgegeben
Größe ein neues Archiv anfangen, benötigt dann aber entweder bei jeden
neuen Archiv manuellen Eingriff oder man muss ein Script stricken. Schön
wäre natürlich auch, wenn das Archiv eine gewisse Redundanz einbauen würde,
damit nicht der kleinste Kratzer gleich zu Ausfällen führt.
Mich würde jetzt mal interessieren, wie Ihr das löst? Mir scheint das ja
eine Aufgabe zu sein, die einen häufiger mal begegnet. Benutzt Ihr dafür
tar? Wenn es die Aufgabe vereinfacht, würde ich das Thema Dateirechte
(vor allem ACLs) sogar erst mal ausgrenzen.
Mfg
Thorsten
--
http://www.tgunkel.de
Arno Lutz
>ich frage mich schon länger wie man folgende Aufgabe eigentlich möglichst
> einfach löst:
>
>- Es gibt eine größere Anzahl Dateien
Content-Type: text/plain; charset=utf8
auf
Content-Type: text/plain; charset=UTF-8
ist einfach besser..........
Gruß
Arno
--
Die kürzesten Wörter, nämlich "ja" und "nein" erfordern das meiste Nachdenken.
(Pythagoras)
Bernd Hohmann
> - Es gibt eine größere Anzahl Dateien
> - Diese sollen (einmalig) auf ein Medium gesichert werden, welches
> deutlich kleiner ist als die Summe aller Dateien.
> - Dafür sollen Standardtools verwendet werden, die man auch in ein paar
> Jahren noch auf einem durchschnittlichen Linuxrechner wiederfindet.
RAR
Kann Multivolume und Recovery-Records.
Bernd
--
Visit http://www.nixwill.de and http://www.spammichvoll.de
jean....@nixwill.de & bernado....@spammichvoll.de
Jan Kandziora
>
> - Es gibt eine gröà ere Anzahl Dateien
> - Diese sollen (einmalig) auf ein Medium gesichert werden, welches
> deutlich kleiner ist als die Summe aller Dateien.
> Jahren noch auf einem durchschnittlichen Linuxrechner wiederfindet.
>
Mit freundlichem Gruￜ
Jan
Helmut Hullen
Du meintest am 08.11.09:
>> - Daf�r sollen Standardtools verwendet werden, die man auch in ein
>> paar Jahren noch auf einem durchschnittlichen Linuxrechner
>> wiederfindet.
> man dar
"dar" ist schon jetzt nicht auf einem durchschnittlichen Linuxrechner zu
finden.
Viele Gruesse
Helmut
"Ubuntu" - an African word, meaning "Slackware is too hard for me".
Thomas Flaig
>> man dar
> "dar" ist schon jetzt nicht auf einem durchschnittlichen Linuxrechner zu
> finden.
des Programms mit dem man das Archiv entpacken kann auf dem ersten (und
letzten) Medium eines Archivierungsversuches mitabspeichern.[1]
Als Ausnahme fￜr diese Regel lasse ich evtl. rsync/rsnapshot o.ￜ. zu. ;)
ciao
Thomas
------
[1]
Am besten auch noch einen dazu pasenden Compiler und den Quellcode eines
portablen Betriebssystem, auf dem das Archivierungstool lï¿œuft. ;)
--
"I think they're going to take all this money that we spend now on war and
death --" - "And make them spend it on life."
-- Edith Keeler and Kirk, "The City on the Edge of Forever",
stardate unknown.
Bernd Hohmann
>> "dar" ist schon jetzt nicht auf einem durchschnittlichen Linuxrechner zu
>> finden.
> Deswegen, egal mit welchem Program man archiviert, immer den Quellcode
> des Programms mit dem man das Archiv entpacken kann auf dem ersten (und
> letzten) Medium eines Archivierungsversuches mitabspeichern.[1]
Ich habe berechtigte Zweifel, dass Du in 20 Jahren ad hoc einen 20 Jahre
alten Packer-Sourcecode auf die dann aktuelle Hypersonic-Twelve
Architektur portieren kannst.
Die Wahrscheinlichkeit aber, dass RAR oder ZIP in 20 Jahren auf einer
aktuellen Plattform nicht mehr auspackbar ist halte ich für äusserst
gering - dazu ist die Pfadabhängigkeit viel zu gross.
Wenn das Zeug wichtig genug ist, migriert man es eh alle paar Jahre mit.
Thomas Flaig
> Thomas Flaig schrieb:
>>> "dar" ist schon jetzt nicht auf einem durchschnittlichen Linuxrechner zu
>>> finden.
>> Deswegen, egal mit welchem Program man archiviert, immer den Quellcode
>> des Programms mit dem man das Archiv entpacken kann auf dem ersten (und
>> letzten) Medium eines Archivierungsversuches mitabspeichern.[1]
> Ich habe berechtigte Zweifel, dass Du in 20 Jahren ad hoc einen 20 Jahre
> alten Packer-Sourcecode auf die dann aktuelle Hypersonic-Twelve
> Architektur portieren kannst.
sind, auch bei DVD-RAM hï¿œtte ich persï¿œnlich vorbehalte, nachdem ein
DVD-RAM-Laufwerk am Ende seiner Lebenszeit damit begonnen hat
DVD-RAM-Medien zu vernichten.
Daher per rsync/rsnapshot auf Festplatten.
[...]
> Wenn das Zeug wichtig genug ist, migriert man es eh alle paar Jahre mit.
Auch dafï¿œr ist es ganz praktisch einen passenden Quellcode nicht erst
suchen zu mï¿œssen.
ciao
Thomas
--
A hundred thousand lemmings can't be wrong!
Christian Weisgerber
> Kï¿œnntest Du heute etwas mit 20 Jahre alten Festplatten anfangen? ;-)
Ich bin mir nicht mehr ganz sicher, aber ich glaube, ich hatte
damals schon eine SCSI-Platte (oder hï¿œtte eine haben kï¿œnnen), die
ich auch heute noch an einen SCSI-PCI-Adapter angeschlossen bekï¿œme.
Aber wie schon ein Vorredner gesagt hat: Daten *migriert* man von
einem Speichersystem zum nï¿œchsten. Sie auf ein Archivmedium zu
speichern und in den Schrank zu stellen, ist absehbarer Datenverlust.
--
Christian "naddy" Weisgerber na...@mips.inka.de
Helmut Hullen
Du meintest am 10.11.09:
>> Aber wie schon ein Vorredner gesagt hat: Daten *migriert* man von
>> einem Speichersystem zum n�chsten.
> Dann sind optische Medien aber auch kein Problem. ;-)
Klar. Wenn ich die knapp 70 GB meines Hauptrechners "migrieren" will,
dann sind das keine 20 DVDs.
Und die Lebensdauer von Daten auf selbstgebrannten DVDs ist sicherlich
hinreichend lang.
Thorsten Gunkel
> Thorsten Gunkel schrieb:
Hallo Arno,
>> [kaputte Umlaute]
> stell mal dein Charset von
> Content-Type: text/plain; charset=utf8
> auf
> Content-Type: text/plain; charset=UTF-8
> ist einfach besser..........
Danke für den Hinweis. Ich hoffe, jetzt kommt es richtig an?
> Gruß
> Arno
Viele Grüße
Thorsten
--
http://www.tgunkel.de
Thorsten Gunkel
> Thorsten Gunkel schrieb:
Hallo Bernd,
>> - Es gibt eine größere Anzahl Dateien
>> - Diese sollen (einmalig) auf ein Medium gesichert werden, welches
>> deutlich kleiner ist als die Summe aller Dateien.
>> - Dafür sollen Standardtools verwendet werden, die man auch in ein paar
>> Jahren noch auf einem durchschnittlichen Linuxrechner wiederfindet.
> RAR
> Kann Multivolume und Recovery-Records.
Ja, das scheint prinzipiell wirklich die Anforderungen gut zu erfüllen. Aber
dafür auf nicht freie Tools ausweichen?
> Bernd
Bernd Hohmann
>> RAR
>> Kann Multivolume und Recovery-Records.
>
> Ja, das scheint prinzipiell wirklich die Anforderungen gut zu erfüllen. Aber
> dafür auf nicht freie Tools ausweichen?
Du hast nach einer Lösung, nicht nach freien Tools gefragt.
Thorsten Gunkel
> * Thorsten Gunkel <tgunke...@tgunkel.de> schrieb:
Hallo Heiko,
>> [Daten auf mehreren Medien sicher sichern]
> Standardisiertes Archivformat + Reed-Solomon-Code
> Also z.B. {s,g,bsd}tar + par2 oder dvdisaster
erst mal Danke für den Hinweis auf par2 (auch an Ralf natürlich). Das kannte
ich noch nicht und das scheint mir auf den ersten Blick sehr nützlich zu
sein.
Ihr geht beide nicht auf die Aufteilung der Sicherungen in mehrere Teile
ein. Würdet Ihr dafür split benutzen?
Gerade das Aufteilen schien mir an tar z.B. schon immer total (abschreckend)
unhandlich. Ich hab mal ein wenig in der Doku geblättert. Das hier scheint
mir die einfachste Variante zu sein:
# tar --multi-volume --tape-length=200000 -c
-f sicherung.tar -f sicherung2.tar -f sicherung3.tar -f ...
testA.img
Einfach mit -f mindestens so viele Name angeben wie benötigt werden. Das ist
für weniger als 10 Datein ja vielleicht noch halbwegs praktikabel.
Danach geht es wohl nur über eine Scriptlösung
# tar --multi-volume --tape-length=10000 --new-volume-script=/tmp/s.sh
-cf sicherung.tar testA.img
Und ungefähr sowas:
,----[ /tmp/s.sh
| #!/bin/sh
|
| new_vol=`echo $TAR_VOLUME | awk '{printf "%04d\n", $1;}'`
|
| new_name="$TAR_ARCHIVE"
| new_name="`echo "$new_name" | sed s/"\."tar$//`"
| new_name="`echo "$new_name" | sed s/"\."[0-9][0-9]*$//`"
| new_name="$new_name"".""$new_vol"".tar"
|
| echo "For volume $TAR_VOLUME of $TAR_ARCHIVE the next file name will be: $new_name"
|
| if [ -e "$new_name" ]; then
| echo "Error: file already exists!"
| exit 1
| else
| echo "$new_name" >&$TAR_FD
| fi
`----
Vielleicht baue ich das ja aus und leg mir das auf alle Rechner wo ich das
gebrauchen könnte, besonders elegant scheint mir das aber nicht.
> Gruß, Heiko
Thorsten Gunkel
>>> paar Jahren noch auf einem durchschnittlichen Linuxrechner
>>> wiederfindet.
>> man dar
> "dar" ist schon jetzt nicht auf einem durchschnittlichen Linuxrechner zu
> finden.
Das ist vermutlich ein Henne-Ei Problem. Solange es nicht verbreitet ist,
benutzt es keiner.
Arno Lutz
>> Content-Type: text/plain; charset=UTF-8
>> ist einfach besser..........
>
>Danke für den Hinweis. Ich hoffe, jetzt kommt es richtig an?
>Viele Grüße
siehst du hier.......