Hohe Prozessorlast beim Löschen vieler Dateien?

German support forum

Moderators: Hacker, Stefan2, white

Conan
Member
Member
Posts: 119
Joined: 2012-04-18, 20:55 UTC

Post by *Conan »

nein und nein.
welches format? PML CSV oder XML?
kurze zeit laufen lassen und gleich 7270 einträge.
und ich hab nur eien datei im order K:\antitwined - Kopie\Tab\gBackup_tab\Android\data\com.android.gallery3d\cache\picasa-5632542873501219457(zufällig gewählt) gelöscht.
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

PML
Die kann man dann auf einem anderen Rechner mit Process Monitor laden und anzeigen.

Du kannst auch nur die gefilterten Einträge exportieren.
Bei einem entsprechende Filter (achte ein bisschen auf deine Privacy!):
- Include "ProcessName" is "Totalcmd64.exe"
und nur
- "File System Activity"
kommen hier beim Löschen von 2 Dateien ca. 582 Einträge zusammen.

Vorgehensweise:
- PM Filter konfigurieren
- PM alle - Show .. activity Buttons bis auf "Show File System Activity" deaktivieren
- PM Capture anhalten
- PM Log clearen
- TC Dateien markieren.
- PM Capture starten
- TC Dateien Löschen
- PM Capture anhalten
- PM Capture speichern "(o) Events displayed using current Filter"

Am besten gezippt auf irgendeinem Hoster hochladen.

Kann ich mir dann morgen Abend (gähn) mal zu Gemüte führen, und dir zumindest sagen ob die Zeiten und Aktivitäten sich ungewöhnlich von denen unterscheiden die hier auftreten.
Typ und Dateisystem der beteiligten Laufwerke wäre noch interessant.

Gruß
Holger
Conan
Member
Member
Posts: 119
Joined: 2012-04-18, 20:55 UTC

Post by *Conan »

ICh kenn den Process Monitor und den Process Explorer hat den TAskmanager bei mir kommplet ersetzt.
das logfile im pml format ladet gerade auf dropbox hoch. ich füge den link später ein.
Und da ist er schon https://www.dropbox.com/s/6cgycxx8mk4jsfn/Logfile.rar

Gute nacht Gruss Conan
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

Merci. Angekommen.
Werd ich mir morgen (Ups! heute Abend) genauer ansehen.

Gruß
Holger
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

Schon erstaunlich, dass eine paar Sekunden Capture der Dateisystemoperationen so viel Informationen enthalten.

- Du benutzt den 32 Bit TC unter einem 64Bit Betriebssystem.

- Ich vermute TC UP bedeutet TC Ultima Prime (muss zugeben, dass ich mit Ultima Prime keine Erfahrung habe, vermute aber das dort einige zusätzliche Addons den TC nicht unbedingt schneller machen).
Ganz wichtige Frage: Welche TC Version in TC UP?

Zweite Frage: Ist das Löschen auch so langsam, wenn du eine parallel installierte aktelle TC8.01 64 Bit Version einsetzt?

Du löschst 3 Verzeichnisse unter Umgehung des Papierkorbes in "K:\antitwined - Kopie\Tab\gBackup_tab\opera\cache\g_0000 ..g_0021 ..g_0022"

Zwischen dem Löschen des ersten Verzeichnis
# 00:28:46.8304696
und erfolgreichem löschen des Inhaltes
# 00:28:48.3136394
vergehen ca. 1500 ms.

Bestätigungsdialog?

Was dann sofort als sehr ungewöhnlich auffällt ist, dass nach dem Löschen des ersten Verzeichnis ca. 600ms lang aus der Wincmd.ini gelesen wird:
# 00:28:48.3260481 CreateFile D:\TC_UP\wincmd.ini
...
# 00:28:48.9320142 CloseFile D:\TC_UP\wincmd.ini

Seltsam...

Das letzte File ist dann um
# 00:28:49.0769776
ca. 150ms später gelöscht.

Die Nachwehen (Thumbs Datei überprüfen, Verzeichnis neu einlesen, Log Datei schrieben,...) sind dann um
# 00:28:49.4523706
vorbei (ca. 375ms)

Abhängig davon wie schnell deine CPU bzw. die beteiligten Festplatten (C:, D:, K: ) sind, kommt mir das jetzt allerdings nicht unbedingt auffällig langsam vor.

Von der Gesamtdauer:
S: 00:28:46.8304696
E: 00:28:49.4523706
2600 ms (von der man die 1500 ms Reaktionszeit zum Bestätigen des Dialoges abziehen kann) sind die 600 ms Lesen der Wincmd.in am auffälligsten.

Abgesehen davon, dass ich hier mit TC 8.01 diese Phase nicht nachvollziehen kann: Ist dein Laufwerk D: evtl. ein langsames Laufwerk?

Ansonsten:
Versuch das doch bitte noch mal mit einer aktuellen 64 Bit TC Version oder zumindest mit einer leeren INI Datei. Aufruf

Code: Select all

TOTALCMD.EXE /i="%TEMP%\Fresh.ini"
VistaDelete ist z.B. mit TC 7.5 eingeführt worden und erst mit 8.0 defaultmäßig aktiv.
Falls du also eine ältere TC-UP Installation hast, kann dieser Schalter z.B. gar nicht zu einem schnelleren Löschen beitragen.

Gruß
Holger
Conan
Member
Member
Posts: 119
Joined: 2012-04-18, 20:55 UTC

Post by *Conan »

ja ich nutzte TC UP. Die version vom TC ist 8.01.
Kann ich noch nciht sagen, ich probiere es gleich aus.

jap das tu ich.
ja es kommt eine dialog weil die ordner nciht leer sind.
langsam ist es nciht, die cpu auslastung ist mein problem.

die partionionen
C D E G I und F H und J K
sind auf einer hdd.
C D E G I und F H je auf einer TOSHIBA MK7559GSXP
J K auf einer TOSHIBA MK1059GSM
alle drei platten sind nicht alt haben sata 2.
Der tc64 löscht genauso schnell aber produziert auch eine hohe cpu auslastung.
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

langsam ist es nciht, die cpu auslastung ist mein problem.
Nun in besagten 600ms wird die wincmd.ini ca. 70 mal geöffnet und wieder geschlossen.
Das Öffnen (createFile) dauert mit ca. 1-18ms wesentlich länger als die übrigen Operationen.
Auf meinem Rechner (@Work, ebenfalls mit Kaspersky; 3.5" Raid1 array) dauert der entsprechende Vorgang ca. 40μs (ist also 25 bis 450 mal schneller).
Entweder hast du eine seeehr lahme CPU, oder dein Kasperky ist so scharf eingestellt, dass er jede Datei 13 mal durch die Mangel dreht bevor er dem TC die Daten weiterreicht.
Diese Überprüfungen kosten natürlich Rechenleistung.

Schau dir mal die Konfiguration des Virenscanners an.
Dort muss es auch die Möglichkeit geben, bestimmte Dateien von einem On-Access-Scan auszuschließen.

Kandidaten sind wincmd.ini, tcthumbs.db, totalcmd.log, descript.ion sowie treeinfo.wc.

Ansonsten: Notebookplatten mit gerade mal 8MB Cache sind nicht unbedingt schnell.
Es könnte sich lohnen mal die Partitionen zu defragmentieren.

Ich weiß allerdings immer noch nicht, was dein TC mit diesen 70 mal hintereinander wincmd.ini Öffnen/Lesen/Schliessen treibt.
Wie gesagt, das beobachte ich hier nicht!

Hast du mal den TC, wie vorgeschlagen, mit einer frischen INI gestartet?

Gruß
Holger
Conan
Member
Member
Posts: 119
Joined: 2012-04-18, 20:55 UTC

Post by *Conan »

ich hab einen Intel Core 2 Duo 2,24Ghz.
Die einstellungen von kasy sind alle auf "Empfohlen". ich hab es nicht bewust "scharf" gemacht, echt? defragen mach ich regelmässig, mit o&o defrag, täglich schnell wöchentlich gründlich.

ja man kann datein "ausklamern" vom suchen, werd ich gleich machen.

ja habe ich, die cpulast geht trozdem hoch.
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

<OT>Zu den Einstellungen von Kasperky kann ich dir keinen weiteren Ratschläge geben.
Nach jahrelangem Ringen mit unserer IT haben sie inzwischen die Einstellmöglichkeiten durch den Anwender per Group Policies sehr stark beschnitten.

Irgendwann wird es mal eine Revolution der Administrator geknechteten Computerbenutzer geben:
Die monatliche Komplettuntersuchung (Dauer ca. 18 STUNDEN!) während der der Rechner so tut als ob er grade im Morast stecken geblieben ist :(, kann ich zudem offiziell nicht mehr anhalten.
Na ja man ist erfinderisch: Einmal Logout/Login und man hat wieder 30 Tage Ruhe. :)

Zu Hause tu ich mir so etwas nicht mehr freiwillig an.
Sicherheit kann man auch durch Vermeiden von überflüssigen Aktionen/Einstellungen erlangen.
Dazu gehört dann, unter anderem, dass man nur das installiert was man kennt, braucht und dessen Hersteller man vertraut.

Manchmal erschreckend wie die technische Weiterentwicklung der Hardware durch Software-Schlangenöl ausgebremst wird.

P.S. O&O Defrag zähle ich auch zu dieser Kategorie...
</OT>

Gruß
Holger
Conan
Member
Member
Posts: 119
Joined: 2012-04-18, 20:55 UTC

Post by *Conan »

So ich hab jetzt im kasy die datein "ausgeklammert" also das er sie ignorieren soll.
hier ist das logfile, ich hab ein paar mehr daten diesmal löschen lassen.
https://www.dropbox.com/s/lep1papl0go9rvu/logfile2.rar
im rar file sind 2 bilder wo zeigen wie die cpu auslastung ist.

jap habe ich, das selbe in grün.
<ot> nur 18stunden? wen ich alle meine 3hdds überprüfen lasse werckelt der ein paar tage! mach ich aber nicht oft... im betrieb setzten wir auch kasy ein, aber es ist nicht beschnitten, jeder user (wen er es könnte) könnte kasy umstellen, (woll gemerckt wen er oder sie es könnten) man kann schon sagen ich bin der admin für pcs netztwerk ectp..</ot>
Aber das problem mit der auslastung hab ich nur bei mir, wen ich tc mal im betrieb brauche lösche ich keine daten.
<ot> ich nutzten tc manchmal als explorer ersatzt abre nicht immer, nur noch mit dem TC zuarbeiten wie mein ehemaliger kollege wärend der arbeit kann ich nicht</ot>
ok genug ot.

oh noch eine kleinigkeit:
<ot> Es gibt für andorid nur einen gescheiten datei manager Total Commander, man war ich froh als er endlich kam.</ot>

GRuss Conan
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

Habe grade mal spasseshalber die Treiberinstallation von 2 nVidia Display Treibern von meiner SSD entfernt (332 Files).
- Branchview (um es eindeutig im Worst case zu betreiben)
- Alle Dateien selektiert
- Shift+Del
- mehrere Bestätigungsdialoge betätigt
-> ca. 3 Sekunden Dauer
im Processexplorer nur ein minimaler kaum erkennbarer Spike < 10% (Okay Quadcore also 25% wäre eine Kern voll ausgelastet)

Mir fällt auf, das mehr als 50% deiner 87% CPU Auslastung Kernel Zeiten sind.
- Core 2 (Single oder Dual Core?)

- Wieviele Dateien hast da ca. gelöscht?
aus der Länge der Logdatei vermute ich mal > 6000?

- Hast nur markierte Verzeichnisse gelöscht, oder wie ich im Branchview die Dateien aller Unterverzeichnisse?

- Irgendwelche Besonderheiten auf deinem Laufwerk K:
Verschlüsselung?
Komprimierung?
Keine NTFS-Partition?
Papierkorb disabled?
SMART-Werte der HD in Ordnung (z.B. Crystal DiskInfo)?

- Kannst du mal explizit VistaDelete=1 in deiner Wincmd.ini setzen?
nur 18stunden?
Ich muss während dieser Zeit arbeiten, und wenn der Start einer VM (um einen dringend benötigten Setup zu testen) ca. 5 Minuten dauert (normal 20 Sekunden), dann ist das Arbeitsgerät kurz davor aus dem Fenster geschmissen zu werden...

Gruß
Holger
Conan
Member
Member
Posts: 119
Joined: 2012-04-18, 20:55 UTC

Post by *Conan »

er ist ein 2kerner.
tut mir leid ich hab die datein nicht gezählt, es kann sein das es viele sind, ich hab zu test zwecken ein backup miener SD karte kopiert und diese dan per "verzeichnisse syncen." nur rechts gelöscht, also den koierten ordner.


nein, ja die von NTFS, also wen man auf ein laufwerk rechts klickt und danke "speicherplatz komprimieren, um speicherplatz zu sparen" aber das ist auf allen ntfs partitionen angeschalten.
ich hab für windows nur NTFS die ext4 und swap für linux sieht windows gar nicht.
nein.
ja, Crystal DiskInfo findet nichts, alle punkte sind grün.

nein hab ich noch nciht, ich probiere es sofort aus.


mit "VistaDelete=1" ändert sich bei mir ncihts.
User avatar
HolgerK
Power Member
Power Member
Posts: 5411
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Post by *HolgerK »

tut mir leid ich hab die datein nicht gezählt,
Okay aber die Dateianzahl des Originals kannst du noch ermitteln?
diese dan per "verzeichnisse syncen." nur rechts gelöscht, also den koierten ordner.
Also über das Kontextmenü im SyncTool mit gedrückter Shift Taste.
Gut zu wissen.

Zur Info:

- Habe grade mal 100000 Files auf diese Art auf einer älteren HDD gelöscht:
Dauer ca. 65 Sekunden.

Soweit ich weiß, wird dabei etwas ineffektiver gelöscht da jede Datei einzeln gelöscht wird.

ProcMon erzeugt ca. 600.000 Einträge
Verglichen mit deinen 89.000 Einträgen müsstest du also ca. 15000 Dateien gelöscht haben.

- Im TC Panel den Folder mit den 100.000 Dateien in den Papierkorb verschieben (Vistadelete=1) dauert ca. 60 Sekunden.

- Im TC Panel den Folder mit den 100.000 Dateien mit Shift+Delete Löschen dauert ca. 55 Sekunden.

- Löschen im TCPanel über Kontestmenü "Delete" (Explorermethode): ca. 40 Sekunden.

-

Code: Select all

cmd /k rmdir L:\TESTFOLDER\Test /s /q
(Ohne Netz und doppelten Boden-Sicherheitsabfragen) aus der Kommandozeile des TC dauert ca. 30 Sekunden.

Alle Methoden lasten die CPU ungefähr vergleichbar aus.

Löschen mit GUI ist eben etwas langsamer und erfordert auch etwas Rechenleistung.
"speicherplatz komprimieren, um speicherplatz zu sparen"
kostet zudem auch etwas Performance.

Ich hoffe du kannst mit diesen Vergleichswerten die Dauer eines Löschvorganges und die Auslastung der CPU etwas realistischer einschätzen.
TC kann nicht zaubern und schneller sein als das Windows-API, zumal er auch noch einige Sachen wie z.B. Protokollierung von Operationen, Aktualisierung von Thumbs, Treeinfo, ... zusätzlich erledigt.

Gruß
Holger
Post Reply