Kopiermethode für große Dateien

[Zendo]

Hallo zusammen, liebe Formgemeinde.

Ich würde gerne wissen ob man die im TC verankerte Kopiermethode für große Dateien (ohne Cache),

mit den Programmen wie z.B FastCopy,TeraCopy und RichCopy zu vergleichen ist, da die ja ähnlich wenn nicht sogar gleich funktionieren.

Ich möchte mir das messen alle Programme ersparen. Vielleicht weiß das ja jemand oder hat das mal ausprobiert.

Mir geht es dabei nicht um ein unterschied von 5 Min. Ich kopiere mit TC der Zeit 5.5 TB in ca 3 Stunden mit USB 3.0 (da ist und bleibt sicher eine Einschränkung die durch USB 3 geschuldete ist.) Aber z.B von SSD nach SSD 1 TB ist mit dem TC ca 1 Stunde.

[ghisler(Author)]

Nein, wohl nicht - bei diesen spezialisierten Programmen haben die Entwickler tausende von Stunden in diese eine spezielle Funktion investiert, um sie extrem zu optimieren. Das ist bei einem Allroundprogramm wie Total Commander schlicht nicht möglich.

[Dalai]

Ich möchte mir das messen alle Programme ersparen. Vielleicht weiß das ja jemand oder hat das mal ausprobiert.

Dir wird nichts anderes übrig bleiben, weil es viel zu viele Faktoren gibt, die das Kopieren und die Geschwindigkeit beeinflussen können. Jedes System reagiert anders, es hängt davon ab, von wo nach wo kopiert wird, welche Interfaces beteiligt sind uvm. Die Ergebnisse von Person/System X können somit von denen von Person/System Y stark abweichen. Das macht eine pauschale Empfehlung sinnfrei.

Grüße
Dalai

[Horst.Epp]

Hallo zusammen, liebe Formgemeinde.

Ich würde gerne wissen ob man die im TC verankerte Kopiermethode für große Dateien (ohne Cache),

mit den Programmen wie z.B FastCopy,TeraCopy und RichCopy zu vergleichen ist, da die ja ähnlich wenn nicht sogar gleich funktionieren.

Ich möchte mir das messen alle Programme ersparen. Vielleicht weiß das ja jemand oder hat das mal ausprobiert.

Mir geht es dabei nicht um ein unterschied von 5 Min. Ich kopiere mit TC der Zeit 5.5 TB in ca 3 Stunden mit USB 3.0 (da ist und bleibt sicher eine Einschränkung die durch USB 3 geschuldete ist.) Aber z.B von SSD nach SSD 1 TB ist mit dem TC ca 1 Stunde.

Du kannst z.B. FastCopy ohne Probleme im TC integrieren
Damit läuft die Selektion im TC und der Rest in FastCopy ab.
Habe ich früher auch mit TeraCopy gemacht, bin aber auf FastCopy umgestiegen.

[Zendo]

Vielen lieb Dank an euch Hr.Ghisler, Dalai und Horst.Epp. Das hat mir sehr geholfen.

Eine Frage noch an Horst.Epp. Wenn ich FastCopy im TC integrieren möchte, wie mache ich das, bzw kann ich dann auch die Tasten F5 und F6 belegen wie beim TC. Ersten muss ich mich nicht Umstellen und Zweites ich brauche das dann ja auch nur wenn ich sehr große oder sehr viele Kopieren oder zu verschieben habe. Danke noch mal an euch.

[Horst.Epp]

Vielen lieb Dank an euch Hr.Ghisler, Dalai und Horst.Epp. Das hat mir sehr geholfen.

Eine Frage noch an Horst.Epp. Wenn ich FastCopy im TC integrieren möchte, wie mache ich das, bzw kann ich dann auch die Tasten F5 und F6 belegen wie beim TC. Ersten muss ich mich nicht Umstellen und Zweites ich brauche das dann ja auch nur wenn ich sehr große oder sehr viele Kopieren oder zu verschieben habe. Danke noch mal an euch.

Hie mal meine Copy Bar file welche ich als Drop-Down im TC benutze.

Code: Select all

[Buttonbar]
Buttoncount=4
button1=C:\Tools\FastCopy\FastCopy.exe
cmd1=c:\Tools\FastCopy\FastCopy.exe
iconic1=0
menu1=FastCopy
button2=c:\Tools\FastCopy\FastCopy.exe
cmd2=c:\Tools\FastCopy\FastCopy.exe
param2=/auto_close /cmd=diff  /balloon=FALSE /estimate /srcfile=%UL /to="%T"
iconic2=0
menu2=FastCopy Copy
button3=C:\Tools\FastCopy\FC Move.ico
cmd3=c:\Tools\FastCopy\FastCopy.exe
param3=/auto_close /cmd=move /estimate  /balloon=FALSE /srcfile=%UL /to="%T"
iconic3=0
menu3=FastCopy Move
button4=C:\Tools\FastCopy\FC Delete.ico
cmd4=c:\Tools\FastCopy\FastCopy.exe
param4=/auto_close /open_window /cmd=delete /wipe_del /srcfile=%UL
iconic4=0
menu4=FastCopy Delete

Du kannst natürlich auch einzelne Befehle als User commands em_xxx definieren
und denen dann auch die gewünschten Tasten zuweisen.

[Tiggaa]

Einbauanleitung ? Notwendige Konfiguration der Software selber ? Zumindest ich komme mit dem bisschen hier nicht über ein frustrierend unerfolgreiches herumprobieren hinaus.

[HolgerK]

Ich kopiere mit TC der Zeit 5.5 TB in ca 3 Stunden mit USB 3.0 (da ist und bleibt sicher eine Einschränkung die durch USB 3 geschuldete ist.)

Taschenrechner:
5.5(TB) * 1024 * 1024 / 3(h) / 60(min) / 60(s) = 533 MB/s
Da ist wohl zudem die enorm schnelle externe Festplatte (normalerweise haben rotierende Festplatten eine Übertragungsgeschwindigkeit von max. 100-240 MB/s !!) der begrenzende Faktor.

Aber z.B von SSD nach SSD 1 TB ist mit dem TC ca 1 Stunde.

1(TB) * 1024 * 1024 / 1(h) / 60(min) / 60(s) = 291 MB/s
Da kommt es darauf an welche SSD (preiswert oder teuer / Sata, SAS oder NVMe) und die Art der Daten (viele kleine bis eine einzige grosse) kopiert werden.
Von <100MB/s (preiswerte SATA-SSD ohne Cache und billigem Controller) bis 3000MB/s (teure NVMe-SSD) sind da grob geschätzt die technischen Grenzen.

Bevor du versuchst mit Software(-Konfiguration) etwas zu beschleunigen, solltest du dir ein Bild davon machen was die Hardware rein theoretisch überhaupt ermöglichen könnte und dies mit dem einmal (exakt) Gemessenen vergleichen.
Und verlass dich dabei nicht auf Prospektangaben die einfach nur die theoretische Schnittstellengeschwindigkeit propagieren.
Bei einer SSD sind da z.B. noch so Sachen mit im Spiel wie: Geschwindigkeitsdrosselung bei Erwärmung, unterschiedliche Leistung bei Lesen oder Schreiben, unterschiedliche Flash-Speicher (SLC, MLC, TLC oder sogar QLC-Nand), DRAM-Cache oder simulierter SLC-Cache, Anzahl der Speicher-Kanäle über die das NAND angesprochen wird,...

Ich vermute jedoch das du mehr Zeit in das Ausprobieren investieren wirst, als du nachher evtl. (oder auch nicht) beim Kopieren einsparst.

Gruss
Holger

[Zendo]

Vielen Dank für eure Mühe.
2 Holger das von mir waren ja auch nur geschätzt angaben. Ich habe es nie gemessen könnten auch 4 Stunden gewesen sein es läuft einfach nachts und wenn ich wieder wach werde ich es fertig. Weil sich dann nachts der komplette Rechner nur das Kopieren "konzentrieren" kann

Und verlass dich dabei nicht auf Prospektangaben die einfach nur die theoretische Schnittstellengeschwindigkeit propagieren.
Bei einer SSD sind da z.B. noch so Sachen mit im Spiel wie: Geschwindigkeitsdrosselung bei Erwärmung, unterschiedliche Leistung bei Lesen oder Schreiben, unterschiedliche Flash-Speicher (SLC, MLC, TLC oder sogar QLC-Nand), DRAM-Cache oder simulierter SLC-Cache, Anzahl der Speicher-Kanäle über die das NAND angesprochen wird,...

Da gebe ich dir recht und viele sachen davon wusste ich nicht wie z.B (SLC, MLC, TLC oder sogar QLC-Nand) SLC-Cache, Anzahl der Speicher-Kanäle über die das NAND angesprochen wird und die Geschwindigkeitsdrosselung bei Erwärmung waren/sind mir neu.

Ich vermute jedoch das du mehr Zeit in das Ausprobieren investieren wirst, als du nachher evtl. (oder auch nicht) beim Kopieren einsparst.

deshalb wollte ich mir das ja "Ausprobieren" ersparen. Vielen Dank für die Infos.

2 Horst.Epp

Vielen Dank das werde ich morgen mal ausprobieren.

Vorab wie Tiggaa schon geschrieben hatte, wäre eine Einbauanleitung sicher nicht schlecht wenn das nicht zu viel mühe macht.
Ich werde es aber erst mal selber Probieren.

[PhilDer]

Danke auch zuvor an Horst.Epp für sein Konfigurationsbeispiel von Fastcopy.

Aber zurück zum TC:

- Was genau bringt denn die "Kopiermethode für große Dateien" und in wiefern ist sie unsicherer, insb. wenn beim Kopieren auf verschiedene Laufwerke nur kleiner Puffer genützt wird, sehe ich jetzt nicht viel Risiko. Und vor allem nicht bei internen Platten. Oder?

Ist damit die Unsicherheit gemeint, dass der Strom ausfällt bzw. Akku leer ist o.ä.? Ich meine die Methoden sind ja nicht erst 2 Tage alt, da sollte die zweite Unsicherheit, dass die Routinen weniger getestet werden/wurden, ja inzwischen aufgehoben sein?

[HolgerK]

- Was genau bringt denn die "Kopiermethode für große Dateien" und in wiefern ist sie unsicherer, insb. wenn beim Kopieren auf verschiedene Laufwerke nur kleiner Puffer genützt wird, sehe ich jetzt nicht viel Risiko. Und vor allem nicht bei internen Platten. Oder?

Ist damit die Unsicherheit gemeint, dass der Strom ausfällt bzw. Akku leer ist o.ä.? Ich meine die Methoden sind ja nicht erst 2 Tage alt, da sollte die zweite Unsicherheit, dass die Routinen weniger getestet werden/wurden, ja inzwischen aufgehoben sein?

Uralter Thread zu einem solchen Kopierproblem und mein persönlicher Erklärungsversuch warum es Probleme bereiten kann nicht die Standard-Kopiermethode zu benutzen:
viewtopic.php?p=145471#p145471

Gruss
Holger

[PhilDer]

Danke. Meine persönliche Zusammenfassung des Threads wäre: "Zusammengefasst kann man ohne Kompatbilitätsmodus keine Probleme erwarten, wenn die Hardware/OS Kombination sauber ReadFile/WriteFile mit unterschiedlichen Blockgrößen implementiert-
andere Blockgrößen, als sie vom Explorer benutzt werden, können bei solchen fehlerhaften Implementierungen insb. möglich bei NAS Drives oder auch wie beim Windows Home Server eben in der TC Standardeinstellung, d.h. ohne extra angeschalteten Kompatbilitätsmodus zu Fehlern führen."

Offen blieb aber die Frage, ob und was der Kompatbilitätsmodus jetzt viel anders macht, als "Standard-Kopiermethode" mit der voreingestellten (32K)
Puffergröße..
(Konfigurieren- Einstellungen - Kopieren/Löschen)

?
Kann das jemand beantworten? Das heißt auf jeden Fall quasi, dass es drei im Detail verschiedene Kopiermethoden im TC gibt..
Dies als Zusammenfassung mal zugreifbar zu machen, wäre ja sicher sinnvoll.

[HolgerK]

Wenn ich mich richtig erinnere, sind die Standardkopiermethode und der Kompatibilitätsmodus mehr oder weniger dasselbe (basierend auf CopyFileEx).

Was die Experten-Einstellungen(Blockgrösse für das Kopieren von kleinen, grosse Dateien, auf oder zwischen verschiedenen Laufwerken) betrifft, kannst du gerne experimentieren ob du da noch ein kleines bisschen Speed raus holen kannst indem du die Blockgrössen variierst und austestest (Laufwerkszuordnungen: Partitionen auf einer Platte dabei nicht vergessen richtig einzustellen).
Bedenke dabei allerdings, das bei mehreren unterschiedlichen Massenspeichern optimale Parameter für die eine Festplatte (HD) nicht unbedingt für eine SSD optimal sein müssen.
Und wenn du von SSD nach HDD oder HDD nach SSD kopierst, kann das auch wiederum anders aussehen.
Nimm in den Reigen noch unterschiedliche USB-Sticks, externe Festplatten sowie über LAN oder WLAN angebunden Server hinzu, und du erhältst eine ganze Matrix von unterschiedlichen optimalen Einstellungen die evtl. notwendig wären.
Ach ja, die allgegenwärtigen Hintergrundprozesse des Betriebssytems sind da auch noch ein zu berücksichtigender Störfaktor.

Du wirst also mit viel Testaufwand (man sollte vielleicht auch noch den Füllstand und die Verteilung der freien Blöcke auf Massenspeichern mit berücksichtigen, sowie die Temperatur einer SSD nach einem Testdurchlauf, oder die Tageslaune deines OnAccess-Virenscanners,...) eine Einstellung finden, die in einem speziellen Fall evtl. 5% schneller ist, aber dafür in vielen anderen Fällen wahrscheinlich auch 5 Prozent langsamer ist.

Soviel kannst du wahrscheinlich in den nächsten Jahren gar nicht kopieren, dass sich dieser Zeitaufwand bezahlt macht.

...nur so meine unmassgebliche Meinung...
Holger

[HolgerK]

... eine Einstellung finden, die in einem speziellen Fall evtl. 5% schneller ist, aber dafür in vielen anderen Fällen wahrscheinlich auch 5 Prozent langsamer ist.

Ach ja: und wenn du diese Einstellung gefunden hast, traust du dem Braten nicht so ganz und schaltest zur Sicherheit das Verifizieren beim Kopieren an (und verbrennst damit dann noch mal 30%-50% mehr Zeit).

Gruss
Holger