Fehlermeldung SHA512 Datei

[AncientUser11]

Hallo zusammen,
beim Ausführen einer .sha512 Datei bekomme ich folgende Fehlermeldung:
---------------------------
Total Commander 11.01
---------------------------
Fatal error in CRC check thread, aborting!
Out of memory
Windows Server 10 ServerStandard 10.0 (Build 17763), base: 0400000

Please report this error to the Author, with a description
of what you were doing when this error occurred!

Stack trace (x64):413DDA
414369 4144B3 412FFE B2BFC1 8165F4
Press Ctrl+C to copy this report!
---------------------------
OK
---------------------------

Die Datei ist 2,3 GB groß und beinhaltet knapp über 10 mio. Einträge.

Ich habe leider nichts dazu gefunden, wo das Limit liegt, ob nun Dateigröße oder Anzahl der Werte.
Kann mir jemand weiterhelfen oder hat eine Idee, wie ich die Prüfsummen ausführen kann?

[Dalai]

Es sollte einfach zu ermitteln sein, ob die Prüfsummendatei zu groß ist (was ich für die wahrscheinlichste Ursache halte), indem du die Prüfsummendatei in mehrere Teile teilst, z.B. eine Prüfsummendatei pro (Haupt)Verzeichnis.

[AncientUser11]

Hallo zusammen,

ich habe ein paar Tests durchgeführt:

- Wenn ich die Liste teile (in zwei mit ~5 Mio. Einträgen) lässt sie sich ausführen.
- Die Performance wird jedoch besser, wenn man die Datei nochmals teilt, ca. 2,5 Mio. Einträgen.
- Paralleles ausführen war möglich!

Hat jemand eine Information, wie viele Einträge möglich sind?
Werde auf jeden Fall noch etwas durchtesten.

Danke @Dalai für deine schnelle Antwort

[Dalai]

- Paralleles ausführen war möglich!

Natürlich geht das. Man sollte das allerdings unterlassen, wenn die zu prüfenden Dateien auf einer Festplatte liegen.

Hat jemand eine Information, wie viele Einträge möglich sind?

Das kann keiner pauschal beantworten, denn das hängt von der Menge des RAM ab, wieviel RAM frei ist, wieviele zusammenhängende Blöcke bzw. Seiten frei sind usw. Es gibt da sicherlich eine Regel, an der man sich ganz ganz grob orientieren kann, aber je mehr Einträge in der Prüfsummendatei sind desto größer dürfte die mögliche Abweichung von der Regel werden. Ich würde einfach mal selbst im Taskmanager beobachten, wie groß der TC-Prozess beim Einlesen der Prüfsummendatei wird.

[ghisler(Author)]

Die Quersummenfunktion ist nicht für so grosse Quersummendateien gedacht. Es wird einfach die komplette Datei in den Hauptspeicher geladen. Dabei werden max. 2 GB unterstützt (32-bit Variable mit Vorzeichen). Das macht den Code wesentlich einfacher und schneller, als wenn man die Datei blockweise einliest. Ausserdem wird nicht sofort mit dem Testen angefangen, sondern es werden erst die Längen aller Dateien addiert, um den Fortschritt anzeigen zu können.