Dateien kopieren

[Frodoger]

Hallo,

wir haben hier in der Firma diverse Verzeichnisse die mittels Scripten gefüllt werden. So sind in der Vergangenheit Verzeichnisse entstanden, die mehr als 700.000 Dateien enthalten.

Diese lassen sich verständlicherweise nicht mehr mit dem Explorer anzeigen.
Ich habe nun am Wochenende versucht die Ordnerstruktur mit diesen Verzeichnissen zu kopieren. (Ist für eine Servermigration, leider notwendig) TC 4.5 hat dann auch angefangen die Sachen einzulesen und die Größe zu ermitteln. Quelle und Ziel laufen unter 2000 mit komprimiertem NTFS.
Heute morgen war dann alles kopiert, Zumindest sah es danach aus. Aber oh Schreck diverse Ordner waren nur leer übertragen worden.

Meine Fragen sind:
1. Wie sollte man im TC vorgehen um solche Datenmengen zu bewältigen?
2. Wenn nicht im TC welches andere Tool sollte man nehmen? (Robocopy steigt leider auch aus)

Viele Grüße aus Frankfurt

[sqa_wizard]

Zuerst einmal solltest du auf TC 5.51 updaten, du verpasst sonst eine ganze Menge Goodies ...

Für eine passende Lösung fehlen ein paar Infos. Es hängt von der Struktur deiner Verzeichnisse ab.

Die neuen Features bieten viele neue Möglichkeiten:

Zur Teilung der Masse in kleinere Portionen kannst du mit dem Hintergrund-Transfer-Manager einen Verzeichnszweig nach dem anderen in einer Sequenz abarbeiten lassen.

Mit der Option "Kopiere nur Dateien vom Typ xxx" im Kopierdialog kann man auch eine passende Unterauswahl treffen.

Aber das hängt ganz von deiner Struktur ab ...

[Arnold]

@Frodoger,
ich würde schon aus Laufzeitgründen die Ermittlung der Größe ausschalten (in Ini CountMarked=0) und um trotzdem die Größe per Space-Taste ermitteln zu können CountSpace=1.
Mit 69.000 Dateien in 5,2 GB war bei mir kopieren möglich (TC 5.5, WinNT mit NTSF).
Gruß Arnold

oder kopiere per Verzeichnisse synchronisieren,
oder kopiere mit filecopy for WinCmd BETA 0.3 von PEPPA, leider habe ich aber die Adresse nicht mehr, war im alten Forum.

[norfie]

[Frodoger]

Hallo,

danke für die vielen Antworten. Ich will kurz darauf antworten. Das Problem ist wie gesagt die schiere Menge an Dateien in diversen Ordnern.

@norfie:
ich glaube xcopy bricht den Vorgang dann ab, weil ihm Ordner mit sovielen Dateien nicht gefallen.

@Arnold
das filecopy kenn ich gar nich, daß muß ich doch direkt mal suchen.

@sqa_wizard
Hallo, was für Infos brauchst Du?
Es ist halt eine verschachtelte Verzeichnisstruktur, die diverse Ordner enthält die sehr sehr groß sind.

[norfie]

[Frodoger]

@norfie

ja das bliebe dann als einzigste Alternative.

[ghisler(Author)]

2Frodoger
Welches Betriebssystem? Bei Windows 9x kann es Probleme geben, weil eine Standard-Listbox nur max. 32'000 Dateien anzeigen kann. Unter Windows NT/2k/XP gibt es diese Begrenzung nicht. Auch mit Unterverzeichnissen sollte es keine Probleme mit so vielen Dateien geben, ausser dass es extrem langsam ist. Ich wuerde das Verzeichnis splitten in max. 10'000 Dateien pro Verzeichnis. Sogar der Internet Explorer splittet seinen Cache in (versteckte) Unterverzeichnisse auf.

[Hacker]

Frodoger,
ich glaube xcopy bricht den Vorgang dann ab, weil ihm Ordner mit sovielen Dateien nicht gefallen.

XXCOPY wurde uns mal von horst.epp (einem erfahrenem User) empfohlen. http://www.xxcopy.com/


das filecopy kenn ich gar nich, daß muß ich doch direkt mal suchen.

Am Ende von http://members.lycos.co.uk/maxwish/tc_tools.html .


HTH
Roman

[Frodoger]

@Hacker
vielen, vielen Dank.

@ghisler
es sind beides Win2000 Server. Mein Client ist eine XP Workstation. Das splitten der Verzeichnisse haben wir auch vor. Bisher wurde auf die Verzeichnisse nur von Programmen aus zugegriffen , die auch immer den Dateinamen kannten. Das sind halt Protokolldateien jede so zwischen 1 und 15k groß. Also Mengen mäßig nich so viel, aber halt in der Anzahl gigantisch.

[Hacker]

Nur so aus reiner Neugier, habt ihr vor die Dateien zu packen? Ware wahrscheinlich ein guter solid archiving Test, und vielleicht wurde auch Header Compression was ausmachen (wie z.B. bei 7-Zip)...



Roman

[Frodoger]

@Hacker
nein, derzeit nicht. Wir wollen die Dateien nach Jahren und Monaten aufteilen usw. Wenn die dann überschaubar sind, sollen sie gepackt werden. Nachteil der Aktion ist nämlich, daß die Dateien zu Abrechnungszwecken 10 Jahre aufzubewahren sind.

Wenn Du willst kann ich das aber mal testen

[Hacker]

Ware toll. In dem alten Forum hatten wir einen Thread wo wir Packer Liebhaber uns so richtig ausgetobt haben.

Versuche mal WinRAR:
General:
Compression method: Best
Create solid archive

Advanced - Compression:
Text compression: Force
Prediction order: 63
Memory to use: max (128 AFAIK)
Audio compression: Disable (falls dazwischen keine audio Dateien sind)
True color compresion: disable (wie bei Audio)
Dictionary: size 4096
Enable 32
Enable 64
Enable delta

Die 7-Zip Konfiguration werde ich dir nachstes mal mitteilen.

Danke
Roman

[Frodoger]

@hacker

ja mach ich, aber erst morgen nacht oder so, ich will die erstmal richtig kopiert haben, dann sehen wir weiter... die alte kiste fliegt uns so nach und nach um die Ohren.