Plugin für vorherigen doppelte Dateien check

[hubiB]

Hallo zusammen,

ich bin auf der Suche nach einen Plugin für den Totalcommader mit dem man vorher prüfen kann bevor man eine Datei auf eine Partition
bzw. Laufwerk spielt ob diese Vorhanden ist. D.h. ich möchte z.B. bei einen NAS Laufwerk vorher abchecken ob diese Datei die ich hier auf das
Laufwerk kopieren möchte, bereits mit gleichen Inhalt in irgend einem Unterverzeichnis vorhanden ist. Falls eine vorhandene Datei gefunden wird,
möchte ich die Option zum abbrechen, überschreiben bzw. vergleichen haben.
Die Prüfung ob die gleiche Datei mit Namen vorhanden ist könnte über eine Indexliste erfolgen ?

Hat jemand eine Idee hierzu ?

[ZoSTeR]

Du willst global nach einer bereits vorhandenen Datei suchen?
Der TC bietet hier "Verzeichnisse synchronisieren" was aber global nicht viel bringen wird.

Zur globalen Dateisuche kenne ich nichts schnelleres als Everything. Hier kann man auch externe Laufwerke einbeziehen. Diese werden deutlich langsamer durchsucht als lokale NTFS-Laufwerke, aber bei einem täglichen Abgleich durchaus tolerierbar.

Ansonsten Deduplizierung (nur Win-Server/Linux-Spezial afaik) oder Duplikatsfinder (gibt hunderte von mittel bis ganz besch***)

[Dalai]

Zur globalen Dateisuche kenne ich nichts schnelleres als Everything.

Aber kann das auch nach Inhalten suchen oder stellt es Prüfsummen oder so etwas in der Art zur Verfügung?

D.h. ich möchte z.B. bei einen NAS Laufwerk vorher abchecken ob diese Datei die ich hier auf das
Laufwerk kopieren möchte, bereits mit gleichen Inhalt in irgend einem Unterverzeichnis vorhanden ist.

Ohne Prüfsummen oder vergleichbare Methoden sucht man ewig nach inhaltsgleichen Duplikaten, vor allem, weil NAS zu großen Datenbeständen neigen.

Davon abgesehen halte ich diese Bedingung (inhaltsgleiche Datei irgendwo in der Verzeichnisstruktur) nicht für erfüllbar, jedenfalls nicht ohne Prüfsummen, deren Vergleich relativ schnell machbar wäre.

MfG Dalai

[ZoSTeR]

Über eine Suche "size:12345" lassen sich recht zuverlässig Duplikatskandidaten finden.

Dies ist natürlich nicht sonderlich praktikabel bei größeren Kopieraktionen.
Ich habe mich mit den "fortgeschrittenen" Optionen von Everything noch nicht wirklich beschäftigt, aber ein Vergleich sollte sich auch skripten lassen.

Im TC wüsste ich keine Optionen/Plugins.

Ansonsten bleiben wirklich nur Dupefinder die jede Datei mit Checksumme vergleichen und dann mal nen Tag brauchen.

In der neuesten c't (03/2014) gibts nen Artikel zur Deduplizierung, aber ich meine das Fazit war: "nur auf speziellen Win/Linux-Servern".

[Dalai]

Ich weiß nicht, ob ich bzgl. der Prüfsummen richtig verstanden wurde. Ich meinte das folgendermaßen: Prüfsummen einmalig für die gesamte Verzeichnisstruktur berechnen und nun in einem auftretenden Fall, wenn man wissen will, ob eine Datei schon vorhanden ist, nur von dieser einen Datei die Prüfsumme berechnen und diese mit den vorhandenen Prüfsummen der Struktur vergleichen.

Daraus ergeben sich allerdings zwei Schwierigkeiten:

• Eine solche Vorgehensweise ist nur sinnvoll bei einigermaßen gleichbleibenden Datenbeständen, in die in erster Linie Dateien hinzukommen, und nur wenige (oder besser gar keine) geändert werden.
• Es ist je nach Größe des Datenbestandes nicht auszuschließen, dass sich Prüfsummen völlig unterschiedlicher Dateien wiederholen (auch Kollisionen genannt). Das kann man zumindest reduzieren mit entsprechend langen Prüfsummen; TC 8.5 (derzeit noch Beta) unterstützt SHA256 und SHA512, mit denen die Wahrscheinlichkeit dafür deutlich reduziert sein dürfte.

Aus diesen Gründen komme ich dann wieder zu dem Fazit, das ich oben bereits genannt hatte: inhaltsgleiche Dateien finden zu wollen, ist sehr sehr aufwendig und damit gar nicht sinnvoll/arbeitsarm umsetzbar.

MfG Dalai

[hubiB]

Hallo zusammen,

danke für die Infos. Ich hatte eigentlich an eine Funktionalität im TotalComander gedacht, wo ich links mein Quelllaufwerk und rechts mein Ziellaufwerk habe.
Ich möchte dann meine Daten vom Quelllaufwerk auf das Ziellaufwerk kopieren. Da ich auf dem Ziellaufwerk nicht weiß ob diese Daten bereits in
verschiedenen Unterverzeichnissen schon vorhanden sind, möchte ich beim Kopieren abchecken ob es die Daten bereits irgendwo gibt ?
Falls es Dateien mit gleichen Namen gibt, möchte ich eine Abfrage haben ob diese Dateine neue oder nur ältere überschrieben werden sollen.
Bzw. eine Option zum vergleich der Daten nach Inhalt mit Anzeige der unterschiede. Damit das alles nicht solange dauert beim Check der doppelten Dateien,
sollte das Ziellaufwerk eine Indextabelle haben wo alle Dateien des Ziellaufwerke bekannt sind auf die geprüft wird.
Die Indextabelle könnte man vorher einmalig durch einen kompletten Laufwerksscan erstellen.


Jetzt noch einmal die Frage gibt es bereits so ein Plugin bzw. ein Beispiel für ein Plugin damit ich mir evtl. diese Funktionalität selber erstellen kann ?
Wenn das alles so nicht geht mit Plugin, wäre es evtl. ein nettes Feature für ein neues Total Commander Release ? Die Frage an den SoftwareEntwickler vom TotalCommander.

Schöne Grüße an alle

Hubi

[MC]

Falls es Dateien mit gleichen Namen gibt, möchte ich eine Abfrage haben ob diese Dateine neue oder nur ältere überschrieben werden sollen.

Entweder Sie drücken sich falsch aus, oder verlangen sogar noch mehr: nämlich dass der Pfad wo die Datei hinzukopieren ist auch noch automatisch angepasst wird. IMHO vollkommen ausgeschlossen das jemals irgendwo zu finden.

Oder wie ist das genau gedacht - links Quelle (im Root?), rechts Ziel (im Root?) und jetzt einfach Kopieren starten?

[hubiB]

Hallo,

es ist so gedacht das Links im Totalcommander die Quelle (eigene Partition)
mit Daten und rechts z.B. meine externe USB Festplatte ist als Ziel, wo ich meine Daten hin Sichern möchte. Ich möchte
eben verhindern das beim Sichern der Daten nicht immer doppelte Dateien in irgendwelchen Unterverzeichnisssen existieren bzw. sich neu Anlegen.
Also unnötigen Datenmüll verhindern.


"Oder wie ist das genau gedacht - links Quelle (im Root?), rechts Ziel (im Root?) und jetzt einfach Kopieren starten?"

Der Ablauf ist so gedacht ich starte das Kopieren auf meine Ziellaufwerk natürlich mit der Angabe des Verzeichnisses wohin kopiert werden soll.
Falls die zu Kopierende Datei bereits irgendwo auf dem Ziellaufwerk existiert, sollte vor dem entgültigen Kopiervorgang eine Meldung mit Auswahl erscheinen,
dass diese Datei bereits vorhanden ist. Es sollte jetzt Optionen geben wie weiter verfahren werden soll.

Hierfür benötige ich also ein Plugin ?

[Dalai]

Ich kenne kein derartiges Plugin oder Programm, noch nicht einmal etwas, was in die Richtung geht. Aber sowas kann man selber schreiben, z.B. mit AutoIt oder natürlich mit einer der gängigen Programmiersprachen.

MfG Dalai