Kopie Daten Festplatte A auf B + Prüfung ob Kopiervorgang korrekt (Inhalt kopiertes Verzeichnis gleich original)?

German support forum

Moderators: white, Hacker, Stefan2

Post Reply
XYZ1
Junior Member
Junior Member
Posts: 3
Joined: 2018-08-25, 21:12 UTC

Kopie Daten Festplatte A auf B + Prüfung ob Kopiervorgang korrekt (Inhalt kopiertes Verzeichnis gleich original)?

Post by *XYZ1 »

Hallo,

ich möchte eine große Menge Daten von einer Festplatte (z.B. A) auf eine andere Festplatte (z.B. B) kopieren.
Ich habe gelesen dass Total Commander hierfür im Gegensatz zum regulären Windows Explorer aufgrund einiger zusätzlichen Features empfehlenswert sein soll.

Wie gehe ich hierbei am besten vor?

1.) Ich habe in Total Commander per "Files" -> "Create Checksum Files" eine CRC Datei des zu kopierenden Verzeichnisses erstellt.
Außerdem habe ich nach dem Kopiervorgang eine CRC Datei des kopierten Verzeichnisses erstellt.
Wie vergleiche ich nun Anhand dieser CRC Dateien ob der Kopiervorgang korrekt war und das kopierte Verzeichnis dem Original entspricht?

2.) Ich habe die Daten per Total Commander von Festplatte A auf Festplatte B kopiert und beim Kopiervorgang zusätzlich ein Häkchen bei "Verify" gesetzt.
Welche Funktion hat dieses Häkchen bei "Verify"?

3.) Ich habe gesehen, dass Total Commander noch einige weitere Funktionen in dieser Richtung bietet (z.B. "Files" -> "Compare by content" oder "Mark" -> "Compare directories").
Wie erwähnt möchte ich lediglich eine große Menge Daten per Total Commander von einer Festplatte (z.B. A) auf eine andere Festplatte (z.B. B) kopieren und anschließend prüfen,
ob der Kopiervorgang korrekt war und der Inhalt des kopierten Verzeichnisses dem Inhalt original Verzeichnis entspricht.
Wie gehe ich hierbei am besten vor?


Danke und viele Grüße!
User avatar
HolgerK
Power Member
Power Member
Posts: 5406
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Re: Kopie Daten Festplatte A auf B + Prüfung ob Kopiervorgang korrekt (Inhalt kopiertes Verzeichnis gleich original)?

Post by *HolgerK »

1) Es reicht aus nur die Prüfsummen-Files miteinander zu vergleichen. z.B. mit Verzeichnis Synchronisieren und Filemaske *.md5(oder *.sha....) in der Mitte auswählen.

Imho die beste Methode, da du im kopierten Verzeichnis die Daten auch später nochmal gegen die Prüfsummen checken kannst (defekte Dateien können auch durch eine physikalische Belastung im ausgeschalteten Zustand des Datenträgers entstehen, oder ein Virus wütet auf der Kopie herum).

2) Verify berechnet die Prüfsumme der Quelle während des Kopierens und berechnet anschliessend noch mal die Prüfsumme indem das Ziel noch einmal gelesen wird, Die beiden Prüfsummen werden miteinander verglichen, und bei Ungleichheit ein Fehler gemeldet.
Das Koppieren dauert dadurch etwas länger und die Prüfsumme wird nicht dauerhaft festgehalten.
Bietet sich eher an wenn man nur zum Zeitpunkt des Kopieren Fehler feststellen möchte (Übertragungsfehler) ansonsten aber ein hohes Vertrauen in die Sicherheit des Ziellaufwerks hat. Fehler die später auf dem Ziel-Datenträger entstehen könnten, sind damit nicht nachweisbar.

3) Verzeichnis synchronisieren würde zuerst eine Kopie erstellen (evtl. sogar mit Verify) und anschliessend die Option bieten die Kopie mittels Inhaltsvergleich nochmals Bit für Bit zu überprüfen.
Im Gegensatz zum Verify erfolgt dieser Vergleich allerdings nicht während des Kopierens für jede Datei on the fly sondern erst nachdem alle Dateien kopiert wurden.
Der Aufwand ist dadurch etwas grösser, weil die Quelle zweimal gelesen wird, dafür ist die Sicherheit höher da z.B. Sektoren die während des Kopierens zweimal beschrieben werden hierdurch festgestellt würden (Beispiel: Billig USB Sticks mit Kapazitätsangaben von 1TBvte aber nur realen 4 GByte Flash-Speicher)

Empfehlung (absteigende Sicherheit): 1,3,2

Gruss
Holger
Make our planet great again
XYZ1
Junior Member
Junior Member
Posts: 3
Joined: 2018-08-25, 21:12 UTC

Re: Kopie Daten Festplatte A auf B + Prüfung ob Kopiervorgang korrekt (Inhalt kopiertes Verzeichnis gleich original)?

Post by *XYZ1 »

Hallo,

erstmal vielen Dank für die schnelle und umfangreiche Antwort :)

1) Es reicht aus nur die Prüfsummen-Files miteinander zu vergleichen. z.B. mit Verzeichnis Synchronisieren und Filemaske *.md5(oder *.sha....) in der Mitte auswählen.

Imho die beste Methode, da du im kopierten Verzeichnis die Daten auch später nochmal gegen die Prüfsummen checken kannst (defekte Dateien können auch durch eine physikalische Belastung im ausgeschalteten Zustand des Datenträgers entstehen, oder ein Virus wütet auf der Kopie herum).
Okay, von meinem Verständnis her handelt es sich bei den per "Files" -> "Create Checksum Files" erstellten CRC32 (SFV) Dateien lediglich um TXT Dateien,
in welchen die Bezeichnung jeder der im jeweiligen Verzeichnis befindlichen Datei sowie eine Prüfsumme dieser Datei aufgelistet ist.
Sprich ich könnte diese CRC32 Dateien des kopierten Verzeichnisses und des original Verzeichnisses theoretisch mit jedem Tool welches den Vergleich von TXT Dateien beinhaltet (z.B. WinMerge) prüfen, richtig?
Laut WinMerge sind die CRC32 Dateien des kopierten Verzeichnisses und des original Verzeichnisses identisch!
Allerdings finde ich die von Dir erwähnte Funktion nicht in Total Commander...

2) Verify berechnet die Prüfsumme der Quelle während des Kopierens und berechnet anschliessend noch mal die Prüfsumme indem das Ziel noch einmal gelesen wird, Die beiden Prüfsummen werden miteinander verglichen, und bei Ungleichheit ein Fehler gemeldet.
Das Kopieren dauert dadurch etwas länger und die Prüfsumme wird nicht dauerhaft festgehalten.
Bietet sich eher an wenn man nur zum Zeitpunkt des Kopieren Fehler feststellen möchte (Übertragungsfehler) ansonsten aber ein hohes Vertrauen in die Sicherheit des Ziellaufwerks hat. Fehler die später auf dem Ziel-Datenträger entstehen könnten, sind damit nicht nachweisbar.
Okay, also ist die optionale "Verify" Funktion beim Kopiervorgang per Total Commander in meinem Fall auf jedenfall sinnvoll.

Empfehlung (absteigende Sicherheit): 1,3,2
Okay, sprich die Erstellung eines Checksum Files (per "Files" -> "Create Checksum Files") des zu kopierenden Verzeichnisses und des kopierten Verzeichnisses sowie der anschließende Vergleich dieser Checksum Files (z.B. per WinMerge?) wäre die sicherste Lösung, richtig?
Falls ja, welche Art von der in Total Commander verfügbaren Checksums schlägst du vor (CRC32 (SFV), MD5, SHA1,...)?
Die Optionen "Create separate checksum files for each file" sowie "Create separate checksum files for each directory" benötige ich ja nicht,
da ich lediglich den Inhalt eines Verzeichnisses (inkl. Unterverzeichnisse sowie Dateien) kopieren möchte, richtig?


Danke und viele Grüße!
User avatar
Dalai
Power Member
Power Member
Posts: 9364
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Re: Kopie Daten Festplatte A auf B + Prüfung ob Kopiervorgang korrekt (Inhalt kopiertes Verzeichnis gleich original)?

Post by *Dalai »

XYZ1 wrote: 2018-08-25, 23:00 UTCSprich ich könnte diese CRC32 Dateien des kopierten Verzeichnisses und des original Verzeichnisses theoretisch mit jedem Tool welches den Vergleich von TXT Dateien beinhaltet (z.B. WinMerge) prüfen, richtig?
Überhaupt nicht nötig. Einfach Prüfsummendatei kopieren und dann ENTER oder Doppelklick auf der Prüfsummendatei im Zielverzeichnis, fertig. Einfacher geht es nicht.
Laut WinMerge sind die CRC32 Dateien des kopierten Verzeichnisses und des original Verzeichnisses identisch!
Das kann TC auch. Sie Menü Dateien > Vergleich nach Inhalt.
Okay, sprich die Erstellung eines Checksum Files (per "Files" -> "Create Checksum Files") des zu kopierenden Verzeichnisses und des kopierten Verzeichnisses sowie der anschließende Vergleich dieser Checksum Files (z.B. per WinMerge?) wäre die sicherste Lösung, richtig?
Mach ich bei größeren Kopieraktionen auch immer so, aber wie gesagt, ohne den überflüssigen Vergleich der Prüfsummendateien.

Welchen Hash (also Prüfsummentyp) du benutzt, bleibt dir überlassen. Selbst MD5 sollte noch passen, auch wenn dieser Hashtyp prinzipiell nicht mehr für Verschlüsselung verwendet werden soll (und SHA1 ebenfalls nicht), weil er Kollisionen (=selber Hash für völlig verschiedene Inhalte) haben kann. Das dürfte an der Stelle aber keine Rolle spielen.

Grüße
Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
User avatar
HolgerK
Power Member
Power Member
Posts: 5406
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Re: Kopie Daten Festplatte A auf B + Prüfung ob Kopiervorgang korrekt (Inhalt kopiertes Verzeichnis gleich original)?

Post by *HolgerK »

XYZ1 wrote: 2018-08-25, 23:00 UTC Okay, also ist die optionale "Verify" Funktion beim Kopiervorgang per Total Commander in meinem Fall auf jedenfall sinnvoll.
Das kommt darauf an wie sehr du deiner Hardware vertraust.
Normalerweise sind Übertragungenketten in sich schon mit blockweise Prüfsummen abgesichert (z.B Prüfsummen bei PCIe oder Sata, usb,... Festplatten die ein verify after write durchführen, blockweise Prüfsummen auf Massenspeichern,..) die automatisch während der Übertragung oder dem späteren Lesen vom Treiber zu einer Fehlermeldung führen sollten.

Ich halte das eher so, das ich normalerweise beim Arbeiten den Aluhut absetze; nachdem ich einmal verifiziert habe, das das System so arbeitet wie es soll!!

Etwas anderes ist es, wenn ich z.B. ein langfristiges Archiv (Dateien die sich nicht mehr ändern) anlege.
Dann ziehe ich den Aluhut auf und:
- Berechne erst mal ein Prüfsumme der Quellverzeichnisse:
(Dateien-> Erzeuge Quersumme... -> (o)md5 [x] erzeuge separate Quersumme für jedes Verzeichnis)
- Kopiere das ohne Verify zum Ziel (niemals Verschieben!!!)
(wie bereits gesagt das on the fly überprüfen hat nur im Augenblick des Kopierens einer einzelnen Datei eine Aussage, sagt aber nicht über den finalen Zustand des Archivs aus)
- Schalte den Rechner(Ziellaufwerk) aus und wieder ein.
(könnte ja sein Prüfsummen von das gecachten Inhalten berechnet wurden)
- Suche alle md5 Dateien auf dem Ziellaufwerk und lasse die Prüfsummen verifizieren.
MD5 reicht aus (wie Dalai schon erwähnte): Ein Hardwarebug müsste schon eine grosse Rechenleistung haben um gleich grosse Dateien mit identischer Prüfsumme aber unterschiedlichem Inhalt zu erzeugen.
(kann man nach einem Monat, Jahr, Jahrzehnt,... dann wiederholen um die Konsistenz des Archiv zu verifizieren)
- Schalte das Backuplaufwerk aus und verwahre es im ausgeschalteten Zustand an einem anderen Ort.
- Bei wichtigen Daten wird die Prozedur auf einem anderen Laufwerk (nicht vom gleichen Hersteller) nochmals durchgeführt.
- Bei allerwichtigsten Daten werden die Archive dann auch noch an unterschiedlichen Orten aufbewahrt...

Für Langzeitarchive sollte man übrigens keinen Flashspeicher sondern eher herkömmliche externe rotierende Festplatten (nicht mit der allergrössten Datendichte/Kapazität) oder DVD/BD-ROMs benutzen.

Soweit die Theorie.
DIe Praxis sieht dann meist doch anders aus weil man sich ständig dazu zwingen muss Sicherheit einzuhalten und im täglichen Leben das manchmal etwas schleifen lässt.

Gruss
Holger
Make our planet great again
XYZ1
Junior Member
Junior Member
Posts: 3
Joined: 2018-08-25, 21:12 UTC

Re: Kopie Daten Festplatte A auf B + Prüfung ob Kopiervorgang korrekt (Inhalt kopiertes Verzeichnis gleich original)?

Post by *XYZ1 »

Hallo,

vielen Dank für die umfangreichen Antworten!


Was haltet Ihr von spezieller Software wie z.B. FreeFileSync (https://freefilesync.org/)?
Es handelt sich hierbei um ein Open Source Folder Comparison und Synchronization Tool.

Die "Synchronize" Funktion bietet folgende Optionen:
- "<-- Two Way ->>"
- "Mirror -->"
- "Update -->"
- "Custom"

Die "Compare" Funktion bietet folgende Optionen:
- "File time and size"
- "File content"
- "File size"

Sprich ich erstelle eine Kopie des Quellverzeichnisses über die "Synchronize" Funktion mit der Option "Mirror -->" in dem gewünschten Zielverzeichnis.
Anschließend vergleiche ich den Inhalt des Quellverzeichnisses mit dem des Zielverzeichnisses über die "Compare" Funktion mit der Option ""File content".

Da dieses Tool auf diese Aufgaben spezialisiert ist, erscheint auch die Oberfläche sehr übersichtlich und intuitiv.
Den einzigen Vorteil welchen ich z.B. bei Total Commander sehe ist,
dass die erstellte Datei mit der Prüfsumme auch später noch für einen Integritätscheck eines Verzeichnisses verwendet werden könnte.
Da ich das Quellverzeichnis nach erfolgreicher Kopie aber sowieso löschen würde,
wäre diese Erkenntnis nicht wirklich von Vorteil da sowieso kein Backup mehr existiert.


Danke und viele Grüße!
User avatar
HolgerK
Power Member
Power Member
Posts: 5406
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Re: Kopie Daten Festplatte A auf B + Prüfung ob Kopiervorgang korrekt (Inhalt kopiertes Verzeichnis gleich original)?

Post by *HolgerK »

Welchen Vorteil hat dieses Tool genau gegenüber dem TC?
Ich sehe ich da eigentlich nichts, was der TC nicht auch könnte.

Befehle -> Verzeichnisse synchronisieren
https://www.ghisler.com/screenshots/de/08.html


Gruss
Holger
Make our planet great again
Post Reply