Kopiergeschwindigkeit

German support forum

Moderators: Hacker, Stefan2, white

User avatar
Dalai
Power Member
Power Member
Posts: 9994
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Post by *Dalai »

jüki wrote:Denn das, was mir auffielund ich mir eben nicht erklären kann, ist der sehr große Unterschied zwischen gleichen und fremden Laufwerken.
Dieser Unterschied basiert auf den Angaben in der TC-Hilfe. Welchen Grund das hat, weiß ich nicht, aber sicher spielen dort theoretische Überlegungen des Meisters mit rein.

Da ich bisher immer nur eine (unter Windows lesbare) Festplatte in meinen PCs hatte, kopierte ich immer nur innerhalb einer Platte und kann daher keine Aussage zum Wert für untersch. LW treffen.

MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

jüki wrote:Denn das, was mir auffielund ich mir eben nicht erklären kann, ist der sehr große Unterschied zwischen gleichen und fremden Laufwerken.
Man nehme mal an, ein einzelnes Laufwerk habe 4 Partitionen.
Wenn zwischen der ersten und letzten Partition etwas kopiert wird, dann passiert folgendes:

a) Schreib/Lesekopf auf die Datei in der ersten Partition positionieren

b) Datenblock lesen

c) Schreib/Lesekopf auf die Datei in der letzten Partition positionieren

d) Datenblock schreiben

usw. mit a,b,c,d bis alle Datenblöcke kopiert wurden.

Das Problem beim Kopieren auf einer einzelnen Platte sind die Positionierzeiten a) und c).
Um diese zu minimieren (Anzahl der Positionierungen zu verringern) kann man die Blockgröße erhöhen und damit die Anzahl der Zyklen a,b,c,d verringern.

Beim Kopieren von einer Platte zu einer anderen sind die Zeiten a),c) zu vernachlässigen, da der Kopf nicht umpositioniert werden muss (Außer die Quelldatei ist stark fragmentiert, oder die freien Stellen auf der Zielplatte sind weit verstreut).

Eine größere Blockgröße beim Lesen und Schreiben bedingt dann einen geringeren Overhead der entsprechenden Systemaufrufe.
Bis zu einer bestimmten Grösse steigt also die Lese oder Schreibgeschwindigkeit an.
Maximal bis die physikalische Grenze erreicht(Anzahl der Sektoren(Bytes) die pro Sekunde unter dem Lese Schreibkopf vorbeihuschen).
Meist erreicht man allerdings keine größeren Steigerungen mehr sobald die 32/64K-Blockgröße erreicht wurde.

Die Datenblöcke müsse allerdings von unterschiedlichen Treibern transportiert werden; und genau da liegt das Problem wenn Treiberentwickler ihre Tests nur mit dem Explorer und den dort üblichen Blockgrößen durchführen.

Kopieren auf den lokalen Festplatten klappt dann meist noch ohne Problem. Netzwerklaufwerke oder USB (Cardreader, Stick, usw) können da schon mal Datenverluste durch solche Treiber verursachen.
Zusätzlich kommen noch Effekte wie Hardwarebuffer in Schnittstellen hinzu, die ebenfalls bei ungewohnten Blockgrössen aus dem Tritt kommen können.

Wenn ihr also das Spiel mit der Blockgrößenoptimierung unbedingt betreiben wollt, dann setzt wenigstens ein Häkchen bei
[x] Kompatibilitätsmodus für folgende Laufwerke verwenden: \
[x] USB-Speichersticks

Zusätzlich zu \ kann man auch alle Laufwerksbuchstaben angeben die nicht lokal sind.

Solange es sich nicht um das superteure Gigabit-RAID5-DualCore-NAS oder eine über USB3.0 angeschlossene SSD handelt, sind die zu erreichende Geschwindigkeitsgewinne sowieso eher marginal und das Risko eines Datenverlustes beim Speichern auf ein unbekanntes externen Laufwerk zu hoch.

Gruß
Holger
User avatar
Dalai
Power Member
Power Member
Posts: 9994
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Post by *Dalai »

HolgerK wrote:Wenn ihr also das Spiel mit der Blockgrößenoptimierung unbedingt betreiben wollt, dann setzt wenigstens ein Häkchen bei
[x] Kompatibilitätsmodus für folgende Laufwerke verwenden: \
[x] USB-Speichersticks

Ja, für USB-Sticks habe ich den Haken gesetzt, aber für andere LW nicht. Das muss jeder für sich bzw. sein System selbst rausfinden, ob sich die Geschwindigkeitssteigerungen lohnen oder nicht.
Solange es sich nicht um das superteure Gigabit-RAID5-DualCore-NAS oder eine über USB3.0 angeschlossene SSD handelt, sind die zu erreichende Geschwindigkeitsgewinne sowieso eher marginal und das Risko eines Datenverlustes beim Speichern auf ein unbekanntes externen Laufwerk zu hoch.
Auf einem System, bei dem es um Datensicherheit geht, würde ich wohl eher nicht auf die Geschwindigkeit schauen ;). Aber übertreiben kann man es auch. In der Firma wird der TC von mehreren Mitarbeitern eingesetzt (IIRC mit den gleichen/ähnlichen Einstellungen) und bisher habe ich keine Klagen gehört.

MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

Dalai wrote:Auf einem System, bei dem es um Datensicherheit geht, würde ich wohl eher nicht auf die Geschwindigkeit schauen ;).
Manchmal kommt es auch auf beides an. Muss man dann eben verifizieren ob auch sicher kopiert wird.
Aber übertreiben kann man es auch.
http://ghisler.ch/board/viewtopic.php?p=130129#130129
http://ghisler.ch/board/viewtopic.php?p=129296#129296

Im Zweifelsfall würde ich mir da die Freiheit nehmen den Kompatibilitätsmodus zu nutzen um etwas mehr an Sicherheit zu gewinnen.:wink:
In der Firma wird der TC von mehreren Mitarbeitern eingesetzt (IIRC mit den gleichen/ähnlichen Einstellungen) und bisher habe ich keine Klagen gehört.
Ich habe die Erfahrung gemacht, daß das Kopieren auf den Firmenserver sogar schneller wurde im Kompatibilitätsmodus.

Gruß
Holger
User avatar
Dalai
Power Member
Power Member
Posts: 9994
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Post by *Dalai »

Sind beides Fälle mit NAS. Ich hab bislang noch keine Fälle gelesen, in denen das lokale Kopieren Ärger in dieser Richtung verursacht hätte. Klar, wem die Datensicherheit wichtiger ist als das letzte MiB/s, sollte möglichst den Kompat.modus einsetzen. Apropos: kann man den mal auf Windows-Modus umbenennen? Erstens trifft's das eher und zweitens lässt der sich einfacher schreiben ;).

MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
MC
Senior Member
Senior Member
Posts: 402
Joined: 2003-02-05, 13:53 UTC

Post by *MC »

In diesem Zusammenhang: Benutze Explorer-Löschmethode (schnell, geht nicht mit Kommentaren) hinterlässt ein grosses Fragezeichen welches auch die Hilfe nicht beantwortet. Was sind Kommentare? Wo sind die? Habe ich die? Was ist das Problem wenn die nicht gelöscht werden?
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

In diesem Zusammenhang:
Das ist ja so was von OT.
Außer du erwartest, dass Dateien zuerst in den Mülleimer kopiert werde, und danach gelöscht werden. :wink:
Was sind Kommentare? Wo sind die?
<Ctrl+Z> Stichwort "descript.ion", "files.bbs"
Habe ich die?
Kann ich dir nicht beantworten. :wink:
Was ist das Problem wenn die nicht gelöscht werden?
Privacy: Die stehen ansonsten als nicht mehr verwaltete Informationsschnipsel in den obigen Dateien rum.
Allerdings nur wenn einzelne Dateien gelöscht wurden. Wird ein ganzes Verzeichnis gelöscht dann verschwindet auch jegliche Kommentardatei in diesem Verzeichnis.
Je nach Inhalt des Kommentar könnten sie den Verfasser belasten bzw. andeuten was auf deinem Rechner gelöscht wurde. :wink:

Geschwindigkeitsvorteile besteht vorwiegend darin, dass Verzeichnisse komplett in den Mülleimer verschoben werden; die TC-Löschmethode verschiebt normalerweise(*) jede Datei einzeln.
Beim Einen kann man ganze Verzeichnisse in einem Rutsch restaurieren, beim Anderen jede einzelne Datei (außer man hat die <Shift> Taste beim Löschen gedrückt gehalten).
Das sollte dann jeder für sich selber ausmachen wo die Vorteile liegen.

Edit: Ach ja noch etwas:
Bei der Explorermethode bekommt man einen schönen Animationsfilm zu sehen. Manche stehen drauf. :wink:
Wichtiger ist allerdings die Sicherheitsabfrage, die bei der Explorermethode so etwas fragt wie: "Soll die Datei in den Papierkorb verschoben werden", oder: "Soll die Datei endgültig gelöscht werden?", je nachdem ob man die <Shift> Taste gedrückt hält oder nicht.
Die TC-Methode macht da bei der Sicherheitsabfrage keine großen Unterschiede.

Gruß
Holger


(*)
Hilfe, 4.b wincmd.ini wrote:VistaDelete=0
Falls =1, wird die neue Löschmethode von Windows Vista oder neuer benutzt, um Dateien in den Papierkorb zu löschen. Verschiebt komplette Verzeichnisse statt einzelne Dateien in den Papierkorb. Warnung: Diese Methode warnt nicht, wenn Dateien mit Attribut nur lesen, versteckt oder System oder nicht-leere Verzeichnisse gelöscht werden, genau wie im Explorer! Nicht benutzen, wenn Sie den Papierkorb bei bestimmten Laufwerken manuell deaktivert haben!
User avatar
jüki
Member
Member
Posts: 170
Joined: 2008-03-06, 07:24 UTC
Location: Chemnitz

Post by *jüki »

Zuerst einmal -so gefällt mir das richtig gut. Es ist eine gute Sache -Hilfe zu suchen und zu erhalten - ich für meinen Teil möchte diese Hilfe aber immer gerne auch verstehen.
Und dazu sind diese Erklärungen richtig gut geeignet. Danke!
Beim Kopieren von einer Platte zu einer anderen sind die Zeiten a),c) zu vernachlässigen
Das ist sowas von einleuchtend. Klar, da kommt es dann nicht mehr darauf an, wieviel "bei eimem Ritt" gelesen wird.
Übrigens- diese Blöcke werden doch im RAM zwischengespeichert, ja? Denn die internen Speichermöglichkeiten der CPUs sind doch da ziemlich begrenzt.
Übrigens -auch ohne das ich das hier Erklärte schon wußte:
- diese beiden Haken für USB- Sticks hatte ich schon gesetzt.
Rein gefühlsmäßig...

Jürgen
MC
Senior Member
Senior Member
Posts: 402
Joined: 2003-02-05, 13:53 UTC

Post by *MC »

Sorry und danke. Das heisst also dass man diese Dateien selbst anlegt. Eventuell wäre es hilfreich in der Hilfe zu ergänzen, dass diese Kommentare keine 'Systemdateien' sind, sondern User-Dateien?

Auf meinem Rechner ist die einzige solche Datei im TC-Verzeichnis und vermutlich mitgeliefert worden. Aber den TC will ich ja auch nicht löschen :-)

Mir geht es hauptsächlich um langsame USB-Sticks mit vielen Files, und ob die vielleicht mit dieser Methode deutlich schneller zu löschen sind. Vermutlich, wenn die ganze Verzeichnisse wegputzt.
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

jüki wrote:Übrigens- diese Blöcke werden doch im RAM zwischengespeichert, ja? Denn die internen Speichermöglichkeiten der CPUs sind doch da ziemlich begrenzt.
Obwohl moderne CPUs manchmal mehrere MByte Cachespeicher haben (War es nicht Bill Gates, der mal gesagt hat: "640 kB sollten eigentlich genug für jeden sein" :wink:) dient dieser Speicher ausschließlich dazu Kopien des Hauptspeicher für eine schnellen Zugriff bereit zu halten.
Die CPU wird üblicherweise überhaupt nichts von den Bits in den Datenblöcken mitbekommen, weil diese per DMA (direkter Speicherzugriff) durch den Festplattencontroller im Hauptspeicher abgelegt und wieder abgeholt werden.

Gruß
Holger
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

MC wrote:Mir geht es hauptsächlich um langsame USB-Sticks mit vielen Files, und ob die vielleicht mit dieser Methode deutlich schneller zu löschen sind.
Bei vielen kleinen Dateien sind USB-Sticks manchmal unsäglich langsam.
Ich benutzte in einem solchen Fall meistens eine Zip-Datei, die ich auf der Festplatte in einem temporären Verzeichnis erstelle und dann anschließend auf den Stick verschiebe.
Das ist häufig um Faktoren schneller als viele Dateien auf einen USB-Stick zu kopieren.
Wenn man will kann man auch noch etwas für die Sicherheit tun und die Zip-Datei verschlüsseln.
Und das Löschen der einzelnen Zip-Datei auf dem Stick geht dann anschließend ebenfalls rasend schnell.

Gruß
Holger
ricobautsch
Member
Member
Posts: 103
Joined: 2005-06-21, 00:42 UTC

Post by *ricobautsch »

Also bei mir ist in Sachen Geschwindigkeit genau das Gegenteil der Fall.

Ich kopiere eine ca. 700 MB große Datei innerhalb der gleichen Festplatte.

Mit der Methode für große Dateien erreiche ich nur ca. 25.000 kB.
Mit der Standardmethode erreiche ich 38.000 kB und mehr.

Außerdem ist mir aufgefallen, dass TC mit der Methode für große Dateien eine ziemlich lange Denkpause einlegt, wenn der Fortschrittsbalken bei 100% steht, bis der Vorgang schließlich abgeschlossen ist.
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

ricobautsch wrote:Ich kopiere eine ca. 700 MB große Datei innerhalb der gleichen Festplatte.
Passiert hier mit ca. 30MB/s.

Allerdings nur beim ersten mal.

Wenn dich die Zieldatei lösche und dann nochmal kopiere, habe ich überhaupt keine Gelegenheit mehr eine Geschwindigkeitsanzeige im Kopierdialog zu sehen (so schnell wird der wieder geschlossen weil alle Daten bereits vom Betriebssystem gecacht sind).

Von daher sollte man bei solchen Geschwindigkeitsmessungen sehr genau darauf achten unter welchen kontrolliert reproduzierbaren Bedingungen man die Geschwindigkeit ermittelt, bevor man zu dem Schluss kommt, das eine Parameteränderung eine Geschwindigkeitssteigerung bewirkt oder auch nicht.

Gruß
Holger
ricobautsch
Member
Member
Posts: 103
Joined: 2005-06-21, 00:42 UTC

Post by *ricobautsch »

Dass da Caching-Mechanismen im Spiel sind, die ein wiederholtes Kopieren extrem beschleunigen können ist mir durchaus bewusst.
Deswegen habe ich auch jeweils nach Ändern der Kopiermethode vor dem neuen Test den Rechner neu gestartet.

Jetzt habe ich zu Hause noch mal einen Test durchgeführt, ebenfalls mit Rechner-Neustart vor jedem neuen Test.
Ich kopiere 4 Dateien (486 MB, 674 MB, 308 MB, 546 MB).
Die vom TC angezeigte Transferrate schwankt sehr stark zwischen 25 und 70 MB/s, deshalb hab ich einfach mit der Uhr die Zeit gemessen, die zum Kopieren aller 4 Dateien benötigt wird.

Standardmethode: 58 Sekunden
Methode für große Dateien (Kompatibilitätsmodus für *): 59 Sekunden
Methode für große Dateien (Kompatibilitätsmodus für \): 70 Sekunden

Nach allem bleibt mein persönliches Fazit:
Sowohl im Büro als auch hier auf meinem Rechner zu Hause ist die Standardmethode die beste für mich.
Die oft geschilderten massiven Geschwindigkeitssteigerungen mit den Methoden für große Dateien kann ich nicht nachvollziehen.
User avatar
Dalai
Power Member
Power Member
Posts: 9994
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Post by *Dalai »

@ricobautsch: Von wo nach wo kopierst du? So starke Schwankungen bei der Geschwindigkeit konnte ich bei mir noch nie beobachten, höchstens zu Beginn und ggf. am Ende des Kopiervorgangs. Und die Platte und die sonstige Hardware spielt natürlich auch noch eine Rolle, das OS und dessen Caching-Mechanismen auch (ja, es gibt hier große Unterschiede zwischen XP und Vista/Win7).

MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Post Reply