200GB Das Kopieren dauert unheimlich lange

HolgerK · Post by *HolgerK » 2010-09-22, 20:11 UTC

Also: Selbst wenn die Verzeichnisse identisch sind, und NICHTS kopiert wird, dauert es so lange.

Das bedeutet, du hast das Kopieren auch noch mal nach dem Synchronisieren durchgeführt, und es hat trotzdem 2 Stunden gedauert?

Okay eine mögliche Ursache habe ich noch:
Beim Kopieren wird wesentlich mehr in der Fortschrittsanzeige ausgegeben als beim Synchronisieren.
Kopieren: alle 500000 Dateien, auch wenn sie übersprungen wurden!
Synchronisieren: nur die 454 Dateien die kopiert werden.

Auch ein QuadCore mit 16 GByte kann ein Problem mit der Grafikausgabe haben.
Vista ist lahm gegenüber XP was Grafikausgaben betrifft. Windows 7 hat da einiges verbessert, aber das sollte dann auch vom Grafikkarten/hardware/treiber unterstützt werden.
Obwohl der Einfluss wahrscheinlich eher gering ist:
Aero ausgeschaltet?
Geht es schneller wenn du den Kopiervorgang in den Hintergrund verlegst (weniger Ausgaben in der Fortschrittsanzeige)?

Gruß
Holger

hardbreaker · Post by *hardbreaker » 2010-09-23, 08:09 UTC

Ja, ich habe nochmal testweise die ganzen Daten kopiert.

Zur Grafikausgabe:
Zur Zeit habe ich 2 Quadro 5000 in meinem Rechner. Die Grafikausgabe ist super schnell. Es bringt keine Änderung, das Kopieren in den Hintergrund zu legen.

Das "Geschwindigkeitsproblem" ...
Ich denke, es liegt zum einen daran, dass TC die Daten wirklich versucht zu kopieren, also irgendeine Operation wie "Öffnen" macht und zum Anderen, dass der Virenscanner das dann zum Anlass nimmt, die Datei näher zu untersuchen.

Was mir nämlich aufgefallen ist, ist, daß es immer Verzögerungen bei .dll und .exe Files gibt.

Das lässt halt die Vermutung zu, dass eben nicht nur Verzeichnislistings verglichen werden ...

Gruß
/HB

HolgerK · Post by *HolgerK » 2010-09-23, 09:10 UTC

Zur Zeit habe ich 2 Quadro 5000 in meinem Rechner. Die Grafikausgabe ist super schnell.

GDI-Bildschirmausgaben profitieren so gut wie gar nicht von modernen 3D Beschleunigern.

Was mir nämlich aufgefallen ist, ist, daß es immer Verzögerungen bei .dll und .exe Files gibt.

Das lässt halt die Vermutung zu, dass eben nicht nur Verzeichnislistings verglichen werden ...

ProcessMonitor (oder das probeweise Deaktivieren des Virenscanners) könnte evtl. Aufschluss bringen ob da wirklich ein Unterschied bei den Dateisystemzugriffen besteht.

Ich klinke mich hier jetzt aus.

Wenn definitiv ein Unterschied von 2h zu 5min besteht, hat vielleicht ghisler(Author) noch einen Tip oder eine Vermutung woran es liegen könnte.

Gruß
Holger

Tiggaa · Post by *Tiggaa » 2010-09-25, 05:02 UTC

Schonmal überlegt das da vermutlich ein sehr neugieriges Antivirusprogramm mit (sehr) hoch eingestellter Heuristik die Finger mit im Kopiervorgang bzw. wohl eher: drauf haben könnte ?
Musste zumindest ich grade spontan dran denken - bei der Aussage mit den nur bestimmten Dateiendungen..
Habe hier bei mir (NOD32 32bit v4.2) jedenfalls deutliche Geschwindigkeitssteigerungen nach moderater Reduzierung der Heuristik feststellen können.

hardbreaker · Post by *hardbreaker » 2010-09-27, 13:46 UTC

@Tiggaa: Das ist ja genau das Problem. Wieso sollte ein Virenscanner die Dateien anfassen, wenn TC sie nicht öffnen will ? Also andersherum: Wenn nur Dateilisten verglichen werden, muss man die Dateien ja nicht öffnen ...

Und dann noch ein Argument gegen die Veränderung von Antivirenheuristiken: Schon mal daran gedacht, dass es in Firmennetzwerken aufgrund politischer/sicherheitsrelevanter Entscheidungen nicht möglich ist, die Einstellungen zu ändern. Ich meine: Ist ja toll, wenn es dann besser geht. In solchen Fällen ist damit aber nicht gedient.

Lieber die SW ordentlich machen ...

/HB

sqa_wizard · Post by *sqa_wizard » 2010-09-27, 21:05 UTC

Wieso sollte ein Virenscanner die Dateien anfassen, wenn TC sie nicht öffnen will ?

Frage das bitte deinen Virenscanner ...

Ich habe keinerlei Probleme damit, und hier im Forum habe ich auch noch nichts derartiges gelesen.
... und wir haben z.Z. 124.008 registrierte Benutzer

Lefteous · Post by *Lefteous » 2010-09-27, 21:45 UTC

wir haben z.Z. 124.008 registrierte Benutzer

davon sind locker 100.000 Spambots

sqa_wizard · Post by *sqa_wizard » 2010-09-27, 21:58 UTC

OK, weit mehr als 10.000 Mitglieder sind es aber dennoch.

HolgerK · Post by *HolgerK » 2010-09-27, 22:02 UTC

davon sind locker 100.000 Spambots

und die haben weder einen TC noch einen Virenscanner.

Trotzdem zurück zum Thema:

Was mir nämlich aufgefallen ist, ist, daß es immer Verzögerungen bei .dll und .exe Files gibt.

"Symbole(Icons) -> (_) Alle verknüpften + EXE/LNK"
sowie
"Miniaturansicht -> [_] Kopieren/Löschen" von Vorschaubildern"
auszuschalten, wäre vielleicht noch einen Versuch wert.
Irgendeinen Unterschied muss es ja bei Kopieren und Synchronisieren geben (der evtl. durch einen ungeschickten Virenscanner verstärkt wird).

Gruß
Holger

Heppchen · Post by *Heppchen » 2010-09-27, 22:25 UTC

Es liegt wohl am Virenscanner und am TC

Nachdem ich beim Virenscanner (Avast) "Scan When Opening/Scan All Files" aktiviert habe, dauert das Kopieren von 1 GB fast genauso lang, wie das Kopieren, wenn die Dateien noch nicht auf der Zielpartition vorhanden gewesen wären.

40 Sekunden "from scratch" und 20 Sekunden beim Überschreiben der älteren, obwohl alle Dateien identisch sind und gar nix kopiert werden müsste.

Laut Filemon gibt es pro Datei 37 (!) Logeinträge, obwohl ja eigtl. nix kopiert wird.

Schalte ich beim Virenscanner wieder um auf "Scan only documents" statt "all", dann geht es in 3 Sekunden.

Tiggaa · Post by *Tiggaa » 2010-09-28, 00:22 UTC

hardbreaker wrote:@Tiggaa: Das ist ja genau das Problem. Wieso sollte ein Virenscanner die Dateien anfassen, wenn TC sie nicht öffnen will ? Also andersherum: Wenn nur Dateilisten verglichen werden, muss man die Dateien ja nicht öffnen ...
/HB

Wer redet denn von öffnen oder nicht öffnen ? Der Zugriffsversuch drauf alleine (und sei es nur zum Datum&Größenabgleich ob ein Kopier oder Verschiebevorgang überhaupt in Betracht kommt) reicht schon um einen pingelig eingestellten Antivir auf Trab zu bringen. Nennt sich schließlich nicht umsonst: Heuristik. Ich für mich nenne es auch gerne mal so: wildes Drauflosvermuten.

hardbreaker · Post by *hardbreaker » 2010-09-28, 08:19 UTC

Wer redet denn von öffnen oder nicht öffnen ? Der Zugriffsversuch drauf alleine (und sei es nur zum Datum&Größenabgleich ob ein Kopier oder Verschiebevorgang überhaupt in Betracht kommt) reicht schon um einen pingelig eingestellten Antivir auf Trab zu bringen.

Seit wann muss man auf eine Datei "Zugreifen", um ihre Metadaten zu bekommen. Eine "Verzeichnisliste" ohne "Zugriff" auf die Datei reicht doch völlig ... !?

HolgerK · Post by *HolgerK » 2010-09-28, 08:55 UTC

Eben diese Verzeichnisliste existiert ja nur beim Synchronisieren, während beim Kopieren rekursiv der momentane Inhalt der Verzeichnisse eingelesen und überprüft werden muss!

Wenn du das jetzt mal mit einem ungeschickten Virenscanner kombinierst, der präventiv bei jedem Einlesen eines Verzeichnissesinhaltes schon mal alle dort vorhandenen Dateien vorab überprüft, und sich evtl. noch nicht mal merkt, dass er eine Datei mit gleichem Datum und Größe vor wenigen Millisekunde bereits überprüft hat, ist ein solcher Unterschied schon leicht erklärbar.

BTW. Icon- und Thumbnails-Option mal getestet, ob die einen Unterschied bewirken?

Gruß
Holger

Lefteous · Post by *Lefteous » 2010-09-28, 11:34 UTC

2hardbreaker

Seit wann muss man auf eine Datei "Zugreifen", um ihre Metadaten zu bekommen.

Es gibt verschiedene Techniken, um Metadaten zu speichern:
- In einer Extradatei - global oder pro Verzeichnis
- In einem Dateistream, der aber im Grunde auch nur eine Datei an einer Datei ist
- In der Datei selbst, in dafür reservierten Feldern.

Strenggenommen ist es immer ein Dateizugriff, weil alles im grunde Dateien sind, es gibt aber natürlich Performanceunterschied bei den verschiedenen Techniken.

hardbreaker · Post by *hardbreaker » 2010-09-28, 13:03 UTC

Strenggenommen ist es immer ein Dateizugriff, weil alles im grunde Dateien sind, es gibt aber natürlich Performanceunterschied bei den verschiedenen Techniken.

So ganz stimme ich dir nicht zu. Das Filesystem speichert diese Metadaten. Es kommt wahrscheinlich darauf an, was man alles zur Datei-gehörig nennt.
Wenn ich jetzt ein Directory-Listing erzeuge, hat das m.E. nicht viel mit Datei-Zugriff zu tun. Es werden nur die Metadaten der Dateien vom Filesystem geliefert.

Aber ich kann mir schon vorstellen, wie es beim TC und fast allen anderen Tools läuft: Da wird die Datei geöffnet, stat drauf gemacht und möglicherweise wieder geschlossen ohne weitere Aktion. Und da liegt das Optimierungspotential: Hier könnten die Einträge aus einer Verzeichnisliste, die ZUSÄTZLICH geführt wird (möglicherweise wiederverwendet wird, da sie bei SubDir Operationen o.ä. sowieso erzeugt werden muss) herangezogen werden, um die Daten zu finden, die man sonst nur vom stat auf einer geöffneten Datei bekommt.

Von mir aus können wir das Thema jetzt auch abschliessen, da es ja zu nichts führt. Ich habe oben meine Vermutung mit einem Lösungsansatz geschildert und es liegt nun an den Entwicklern das aufzugreifen oder fallen zu lassen.

@Holger: Danke für deine besondere Mühe! Icon und Thumbnail Option ausschalten bringt leider auch nichts.