Wäre Total Commander mit schnellerer Suchmaschine möglich?

[algol]

Ich komme zwar sehr spät zu der "Party", habe hier jedoch eine sehr dezidierte Meinung:

Vor allem bei sehr grossen Datenbeständen ist Indexierung einfach "Teufelszeug" - pur und simpel. Ständig "rattert die Mühle" aus schwer zuzuordnenden Gründen, da denkt man oft schon an ein Virus, Indexierung ist ein dermassen desaströser "Bremsklotz", dass einem das zügige Arbeiten gehörig verleidet wird. Ausserdem weiss ich auch über Fälle zu berichten, wo die Indexierung in dringendem Verdacht steht, für korrupte Datenstrukturen und cross-linked files verantwortlich zu sein.

Und selbst, wenn ich 5x täglich (im Durchschnitt) suche, wiegt der bescheidene Zeitgewinn durch Indexierung den ganztägig nervtötenden Murks durch dieselbe in keiner Weise auf!

Kann man die TC-Suche effizienter gestalten? Ja, ohne Zweifel, und das wäre auch einer meiner vordringlichsten Wünsche in v9.

Aber Hände weg vom "Sündenfall" der Indexierung! Das wäre ein unannehmbar hoher Preis für einen Such-Zeitgewinn (über den Tag) im unteren Minutenbereich, wenn überhaupt.

mfg
algol

[Hacker]

algol,

Aber Hände weg vom "Sündenfall" der Indexierung! Das wäre ein unannehmbar hoher Preis für einen Such-Zeitgewinn (über den Tag) im unteren Minutenbereich, wenn überhaupt.

Hast du schon mal ein Paar hundert GB an Dateien nach einem Stichwort durchzusuchen versucht?

Roman

[Horst.Epp]

algol
Das die Indexierung irgendwelche Files cross linked ist ja wohl Unsinn.
Ich benutze das seit Jahren auf Servern mit Terabyte großen Datenbeständen ohne Probleme.
Du kannst ja mal ohne Index versuchen Files in entsprechend grossen Mengen nach Inhalten zu durchsuchen, viel Spass damit.
Auf einem aktuellen PC oder Server bemerkst du von der Indexierung so gut wie nichts in der Performance.

[Graurock]

Auch ich kann die Frage aus dem Titel dieses Threads klar beantworten: JA!
Eine schnellere Suche wäre prima.

NB zur Indexierung: seid ihr sicher, dass ihr alle das gleiche meint? Die Windows eigene Indexierung oder einen Index wie ihn z.B. "Google Search Appliance" erstellt. Bei Terabyte grossen Datenbeständen rasselt die Windows Indexierung schon etwas (oder liegts wirklich nur an den nicht ganz taufrischen PCs?)

[Horst.Epp]

Auch ich kann die Frage aus dem Titel dieses Threads klar beantworten: JA!
Eine schnellere Suche wäre prima.

NB zur Indexierung: seid ihr sicher, dass ihr alle das gleiche meint? Die Windows eigene Indexierung oder einen Index wie ihn z.B. "Google Search Appliance" erstellt. Bei Terabyte grossen Datenbeständen rasselt die Windows Indexierung schon etwas (oder liegts wirklich nur an den nicht ganz taufrischen PCs?)

Die Indexierung ist kein grosses Problem, da nach dem ersten vollen Durchlauf nur die geaenderten oder neuen Files indexiert werden.
Davon merkt man definitiv auf aktueller Hardware wenig.

[algol]

Hast du schon mal ein Paar hundert GB an Dateien nach einem Stichwort durchzusuchen versucht?Roman

Sogar 10TB, nur eben nicht "brute force", sondern nach möglichst intelligenten Kriterien.

Das(sic!) die Indexierung irgendwelche Files cross linked ist ja wohl Unsinn.

Sagt wer? Der PC-"Chefexperte" Horst Epp "ex_Cathedra"? Einfach mal so als schlichte Behauptung ohne Gegenargument? Übrigens tut's eine korrumpierte MFT (master file table) im Notfall auch.

NB zur Indexierung: seid ihr sicher, dass ihr alle das gleiche meint? Die Windows eigene Indexierung oder einen Index wie ihn z.B. "Google Search Appliance" erstellt.

Ich spreche mich vor allem gegen die Windows_eigene Indexierung, aber in weiterer Folge gegen jede Indexierung aus, die ständig unkontrolliert im Hintergrund läuft.
Vielleicht könnte ein Kompromiss darin bestehen, eine externe Indexierung zuzulassen, die aber nur bei Bedarf upgedatet wird.

Beispiel: wenn "everything" sich schon rühmt, dass seine MFT-basierte "Schmalspur-Indexierung" auch nach Neuinstallation praktisch in Nullkommanichts erledigt ist (und dafür auch keine Inhalte findet, was den Nutzwert massiv in Frage stellt), um wieviel rascher müsste dann ein blosses update der Indexierung vor/bei der nächsten, aktuellen Benutzung ausfallen, zumal, wenn das Tool mehrmals wöchentlich benutzt wird? Die paar Sekunden wären nun wirklich ein geringer Preis dafür, das ständige, ungebetene Rattern im Hintergrund zu unterbinden.

mfg
algol

[Hacker]

algol,

Sogar 10TB, nur eben nicht "brute force", sondern nach möglichst intelligenten Kriterien.

Welche Kriterien sind den intelligenter als andere wenn man nach Text im Dateiinhalt sucht?

Roman

[algol]

Welche Kriterien sind den intelligenter als andere wenn man nach Text im Dateiinhalt sucht?Roman

z.B. dass es sich um eine txt-, rtf-Datei (was halt zutrifft) handelt, die maximal 20k gross ist und nach/vor 2005 entstanden sein muss.

Da fliegen 85% schon mal raus, die gar nicht erst durchsucht werden müssen. Aber das brauche ich einem Kenner wie Dir wohl kaum zu sagen.

mfg
algol

[Hacker]

algol,
Das ist dann aber nicht mehr eine Suche nur nach Textinhalt.

Roman

[algol]

Das ist dann aber nicht mehr eine Suche nur nach Textinhalt.

Die braucht in Wahrheit auch keiner, weil ich praktisch keine Situation konstruieren kann, in der nicht irgendwelche logischen Einschränkungen vorliegen.

Die meisten Durchschnittsuser sind nur zu bequem, solche einschränkenden Kriterien auf die Schnelle zu formulieren.

Wer aber glaubt, seine bruchstückhaft vorhandenen Text-Assoziationen unbedingt auch in xGB-grossen Video-/Game-Dateien suchen zu müssen oder im Treiber-Archiv eines OS-Backups, dem ist ohnehin nicht zu helfen und mit solchen Usern habe ich auch wenig Mitleid. Zumindest nicht genug, um die generelle Entwicklungsrichtung professioneller Hochleistungstools für effizientes Datei-Management von den konzept- und planlosen Suchbedürfnissen solcher "Traumtänzer" diktieren zu lassen.

Mir jedenfalls ist der Preis des ständigen "Ratterns" einer Hintergrund-Dauerindexierung viel zu hoch, nur, damit auch hibernation-files und HD-Videos sinnlos von einigen "Such-Künstlern" nach z.B. einer vergessenen Telefonnummer durchsucht werden können, die vermutlich irgendwo die Ziffernfolge "149" enthält.

In Text- und Memo-files der letzten 3 Jahre (z.B.) hingegen ist dieselbe Suche auch ohne Dauerindexierung schnell erledigt.

Eine externe Indexierung "on demand" hingegen könnte ich mir als Kompromiss zur Beschleunigung der Suche durchaus vorstellen, insbesondere, wenn diese erzeugten Indizes in einem Unterverzeichnis des Suchprogramms verbleiben (gerne auch extern auf einem USB3-Stick) und nicht die Tiefen des Betriebssystems "zumüllen" und aufblähen.

Der externe Stick mit den Indizes hätte übrigens auch den Vorteil, sicherzustellen, dass mein PC keinesfalls dazu da ist, der NSA beim Durchforsten meiner Datenbestände nach Schlagworten auch noch Hilfestellung zu leisten und so das Leben unnötig zu erleichtern.

mfg
algol

[Lesmo16]

Kann man die TC-Suche effizienter gestalten? Ja, ohne Zweifel, und das wäre auch einer meiner vordringlichsten Wünsche in v9.

Irgendwas Konstruktives dazu?

[Lefteous]

2algol
Mir ist bei deinen Ausführungen nicht klargeworden inwiefern man den potentiellen Nutzern ("Traumtänzern") einen Vorwurf machen kann, wenn der Entwickler einer solchen Suchmaschine Dateien versucht zu indexieren, von denen
- keine Metadatenstrukturen bekannt sind
- keine indexierbare Textstruktur bekannt ist, weil es sich entweder komplett um eine binäre Datei handelt oder eben keine Konvertierung bekannt ist

In diesem Fall wäre der Vorwurf an den Entwickler zu richten. Da mache ich mir beim TC aber nun wirklich keine Sorgen.

Die meisten Durchschnittsuser sind nur zu bequem, solche einschränkenden Kriterien auf die Schnelle zu formulieren.

Womit wir wieder bei der Google-Frage wären.

Dauerindexierung

Indexierung "on demand

Eine Dauerindexierung macht natürlich keinen Sinn - gerade weil es soviel und solange gar nichts zu indexieren gibt.
Eine Indexierung "on demand" finde ich gut - für Leute wie dich perfekt.
Ich gehe jedoch davon aus, dass die populärste Vorgehensweise zunächst eine initiale Indexierung wäre und danach werden nur noch neu hinzugekomme oder veränderte Dateien neu indexiert. Letzteres sollte natürlich dann passieren, wenn die Kiste ordentlich am rumideln ist (ein scheduled task bietet sich an). Bei mobilen Geräten müssen entsprechende Optionen vorgesehen werden ("nur beim Aufladen indexieren").

[algol]

Irgendwas Konstruktives dazu?

Da gäbe es viele Ansätze. Zuerst einmal sollte man vielleicht doch andenken, die Suche etwas zu entkoppeln und damit auch "unabhängig" im Hintergrund lauffähig zu machen. Ich kann Christian da aber nicht vorgreifen, wie aufwändig bzw. überhaupt realisierbar das wirklich wäre, seine bisherigen Kommentare deuten da jedenfalls erhebliche Schwierigkeiten an.

Wichtiger jedoch noch schiene mir eine saubere Trennung der Eingabemaske für einerseits multiple, freie Substring-Suche oder eben eine syntaktisch gebundene, sog. "glob-search" mit genau definierter Verwendung von "wildcards".

Christian hat bisher das Kunststück zuwege gebracht, beide Such-Varianten in einer (scheinbar simplen) Suchmaske zu vereinen. Dies bringt aber zwangsläufig gewisse Einschränkungen in beiden Varianten mit sich, weil, je nach Eingabe, dadurch der eine oder andere Suchtyp festgelegt wird, was nicht ohne Beschneidung der Möglichkeiten beider Verfahren zu realisieren ist.

Bei alltäglichen Suchen mag das nun fast keine Rolle spielen. Aber es ist in der TC-Suche z.B. gar nicht so einfach möglich, alle Dateien zu suchen, die etwa Punkte im Dateinamen enthalten - den Punkt vor der Extension selbstverständlich ausgenommen.

Suchkriterien noch besser bzw. exakter spezifizieren zu können, würde allgemein die Leistungsfähigkeit der Suche - und damit auch die Geschwindigkeit erhöhen.

Und wie gesagt, falls es so sehr zur Beschleunigung beiträgt, hätte ich unter engen Rahmenbedingungen auch nichts gegen eine smarte, externe Indizierung "on demand" - also nicht ständig im Hintergrund aktiv - einzuwenden.

mfg
algol

[algol]

Letzteres sollte natürlich dann passieren, wenn die Kiste ordentlich am rumideln ist (ein scheduled task bietet sich an).

Langsam nähern wir uns ja vielleicht einem Kompromiss.

Die Indexierung muss erstens "smart" erfolgen, bei einer TC-eigenen Variante würde ich mir da auch wenig Sorgen machen, bei der von mir abgelehnten Windows-Dauervariante bin ich mir da allerdings nicht so sicher.

Gegen initiale Indexierung extern hätte ich keine Einwände. Gegen scheduled Tasks, die ungefragt und unautorisiert zu einem beliebigen Zeitpunkt starten und irgendwo riesige Daten-Müllhaufen hinterlassen allerdings ganz massive.

Die vielgepriesene, "schlanke" MFT-Indexierung von "everything" ist ja nur deshalb so schlank, weil sie gerade keine Inhalte findet.

Aber wenn die Suche häufig benutzt wird und gar so effizient implementiert ist, müsste es doch auch genügen, die inkrementelle Neuindexierung seit dem letzten Aufruf jewils beim Neustart einer Suche durchzuführen. Oder nach Erinnerung einmal pro Woche. Wie wäre das?

mfg
algol

[Hacker]

algol,

Mir jedenfalls ist der Preis des ständigen "Ratterns" einer Hintergrund-Dauerindexierung viel zu hoch, nur, damit auch hibernation-files und HD-Videos sinnlos von einigen "Such-Künstlern" nach z.B. einer vergessenen Telefonnummer durchsucht werden können, die vermutlich irgendwo die Ziffernfolge "149" enthält.

Dann kannst du diese ja von der Indexierung ausschliessen. Ich sehe da kein Problem.

Roman