Problem mit Ext4-formatierte USB-Drives

[brainstuff]

Hallo,

Ich verstehe die Welt nicht mehr ... ich habe heute versucht (mit Totalcommander) Dateien von einem externen USB Drive (der in Ext4 formatiert ist) auf einen anderen USB Drive zu kopieren der auch in Ext4 formatiert ist.

Der Ausgangsdrive hat ca. 916 gb davon sind 874 gb belegt und das Ziellaufwerk hat (nachdem ich alle Daten auf das Ziellaufwerk kopiert habe) 360 gb von 1.79 Tb belegt

Auf dem Quellaufwerk hat es 728 Dateien, auf dem Ziellaufwerk 1444 Dateien. Wenn ich die Verzeichnisse vergleiche hat es auf dem Quelllaufwerk noch ein paar Dateien, die als nicht auf dem Ziellaufwerk existierend gekennzeichnet werden, die aber dort sind. Schon von der Menge her stimmt da etwas nicht ... 728 Dateien = 874 gb und 1444 Dateien = 390 gb.

Da 728 Dateien so ziemlich genau die Hälfte von 1444 Dateien ist, habe ich zuerst gedacht, der hat halt die Dateien 2 mal kopiert ... aber ich finde keine doubletten.

Noch etwas zu den Laufwerken ... es sind externe HDD's am USB Port, die normalerweise an einem Blueray-HDD Recorder hängen. Die Idee ist, die Dateien vom kleinen Drive auf einen grösseren zu kopieren (der "grosse" Drive war vorher formatiert (durch den BD-HDD Recorder) und dann habe ich den alten und den neuen Drive, an ein NAS gehängt und die Daten rüberkopiert ... um zu schauen, ob der neue Drive das dann richtig verarbeitet.

Wenn ich die Dateien auf dem Quell-Laufwerk markiere dann habe ich 223494702k in 728 Dateien und auf dem Ziellaufwerk 377319206 k in 1444 Dateien... Auch die Platzbedarfkalkulation von TC zeigt so ca 213 gb belegten Speicherplatz auf .. obwohl das Laufwerk in den Eigenschaften als fast voll gekennzeichnet ist. Auf dem 2 tb Laufwerk sind 359 Gb ...

Ich begreife nicht, warum das Quell-Laufwerk /1tb brutto) mit 213 Gb als fast voll gekennzeichnet wird .. und bis jetzt finde ich auch nicht heraus woher die über 100 Gb mehr auf dem Ziellaufwerk her kommen.

Es ist jetzt fast 1 Uhr morgens und ich habe keine Lust mehr noch weiter zu suchen was da passiert ist ... aber morgen erstelle ich ein Verzeichnis von beiden Drives ... und versuche es nochmals ... zuerst nochmals mit TC und dann versuche ich ob es nicht mit Gparted geht ... kaputt gehen kann eigentlich nichts .. aber es wäre schon gut wenn wir herausfinden könnten, was da passiert ist und woher die Dateien kommen, die den zusätzlichen Platz brauchen ... extrem komisch ist auch dass das Quelllaufwerk mit 213 Gb fast voll sein soll ... ist die Cluster Grösse in Ext4 derartig enorm, dass das passieren kann?

danke
brainstuff

[Dalai]

Die wichtigste Sache hast du genannt: Wie genau hast du das Ext4 eingebunden? Über Plugin? Wenn ja, welches genau? Soweit ich das weiß, können die Plugins nämlich alle nur lesen. Oder über zusätzlichen Dateisystemtreiber? Wenn ja, welchen?

MfG Dalai

[brainstuff]

Hallo Dalai,

Danke für Deine Antwort.

Schon beim Einbinden war es etwas komisch. Da ein Windows Rechner ext4 nicht ohne Plugin liest, habe ich es, der Einfachheit halber, mit einem NAS Versucht. Zuerst mit einem QNAP ... das liest sonst alles ... nur diese beiden Drives, kann er anscheinend nicht lesen (auf jeden Fall nicht an einem USB Port). Deshab habe ich es mit einem NAS, von Synology versucht ... und das liest beide usb Laufwerke, scheinbar, ohne Probleme und man kann diese Laufwerke dann in Totalcommander anzeigen (auf einem Notebook im Netzwerk).

Es sieht alles ganz normal aus, bis man dann auf völlig absurde Quantitäten stösst bzw. versucht die Daten, vom einen auf das andere Disk zu kopieren.

Es kann einfach nicht sein, dass ein fast volles 1tb Disk plötzlich ca 390 gb auf einem anderen Disk ergibt. Und woher es kommt, dass da plötzlich, gut doppelt so viele Dateien auf dem grösseren Disk sind, die dann nicht einmal halb soviel Platz einnehmen, wie auf dem quell Disk ist für mich nicht verständlich ...

Und auch dass da zwar alles kopiert wurde .. dass dann beim Vergleich der Verzeichnisse, Dateien, als auf dem Ziellaufwerk fehlend, gekennzeichnet werden und wenn man dann versucht, die nochmals zu kopieren, dann geht das nicht, weil die Dateien schon auf dem Ziellaufwerk sind ...

Ich kann mir fast nur vorstellen, dass da das Format nicht ganz "ext4" konform ist und dass das Synology NAS irgend etwas lesen kann und es dann irgendwie korrigiert und dass man es deshalb in TC anzeigen kann ..

Ich habe auch probiert, was das Ziellaufwerk macht, wenn ich es wieder an den BD-HDD-Recorder anschliesse. Da werden dann (scheinbar) alle Videos in der Liste angezeigt, ein sehr grosser Teil ist aber nicht lesbar .. komischerweise sind aber ein paar Videos, sogar Filme, lesbar. Bei diesem blöden BD-HDD Recorder ist zu befürchten, dass er irgend einen Kode speichert, der dann dafür sorgt, dass die Videos nur dann lesbar sind, wenn sie auf dem HDD gelesen werden, auf dem sie ursprünglich gespeichert wurden.

Ich speichere jetzt die Dateiliste ab (vielleicht hilft das um zu verstehen, was da passiert und um einen eventuellen Fehler in Totalcommander zu beseitigen) und dann versuche ich es mit gparted. (aber ohne grosse Hoffnung, dass es wirklich geht).


Danke
brainstuff



P.S. Diese BD-HDD-Recorder sind ein extremer Mist ...da zeichnen die Leute Videos auf, bearbeiten die (das ist extrem zeitaufwendig, selbst, wenn man nur den Anfang und das Ende der Videos "schneidet") und dann müssen die Idioten, die so etwas gekauft haben, damit rechnen, dass das HDD nach ca. 2 Jahren, den Geist aufgibt ... und dann ist alles futsch! Selbst meinen Lieblingsfilm schaue ich mir nicht mehrmals, in 2 Jahren an ... OK VHS Video-Bänder waren, wahrscheinlich, auch nach 8 Jahren "verklebt"... und in 5 Jahren sind wir wohl soweit, dass es von der Zeit her, fast nicht mehr möglich sein wird, alle Daten, von "alten" HDD's auf neue umzukopieren bevor die Festplatten kaputt gehen. Grob geschätzt, braucht es ca 3 Jahre um 600 tb, auf einen neuen Datenträger zu kopieren .. OK ist vielleicht übertrieben geschätzt... aber bald ist die Garantie, des neuen HDD's schon abgelaufen, bevor man es voll müllen kann. Und ob es riesige SSD-Drives, zu bezahlbaren Preisen, geben wird ist noch nicht abzusehen.

Im Grunde genommen ist das mit der Datenspeicherung auf HDD's sowieso "Schnee von Gestern" .. im "Cloud" muss ein Video (mit 5-20 Sicherungskopien) nur einmal gespeichert werden .. für Milliarden von "Nutzern" .. deshalb glaube ich auch, dass TC das FTP Programm noch etwas verbessern sollte: mit einer "resolve" Funktion für up- und downloads und mit einem verbesserten Handling von Cloud-Servern.

Wir sind hier schon beim "lokalen" Cloud ... alle Daten sind auf einem NAS .. es hat nur noch Kopien (für unterwegs) auf den Notebooks. Und das, obwohl ich früher einmal das Server-Client-Modell abgelehnt habe.

[Dalai]

Schon beim Einbinden war es etwas komisch. Da ein Windows Rechner ext4 nicht ohne Plugin liest, habe ich es, der Einfachheit halber, mit einem NAS Versucht. Zuerst mit einem QNAP ... das liest sonst alles ... nur diese beiden Drives, kann er anscheinend nicht lesen (auf jeden Fall nicht an einem USB Port). Deshab habe ich es mit einem NAS, von Synology versucht ... und das liest beide usb Laufwerke, scheinbar, ohne Probleme und man kann diese Laufwerke dann in Totalcommander anzeigen (auf einem Notebook im Netzwerk).

OK, also via LAN als Netzlaufwerk eingebunden.

Es sieht alles ganz normal aus, bis man dann auf völlig absurde Quantitäten stösst bzw. versucht die Daten, vom einen auf das andere Disk zu kopieren.

Ich würde mal beim NAS suchen, was das so mit dem Laufwerk anstellt und welche Dateien es selber anzeigt - AFAIK haben die NAS heutzutage alle irgendeine grafische Konfigurationsoberfläche, wo auch ein "Dateimanager" (in Richtung Spielzeug ) mit dabei ist.

Ich habe auch probiert, was das Ziellaufwerk macht, wenn ich es wieder an den BD-HDD-Recorder anschliesse. Da werden dann (scheinbar) alle Videos in der Liste angezeigt, ein sehr grosser Teil ist aber nicht lesbar .. komischerweise sind aber ein paar Videos, sogar Filme, lesbar.

Das ist ein völlig anderes Problem. Die meisten Recorder dürften ihre Daten in irgendeinem (proprietären) Spezialformat speichern oder zumindest eine Art von Datenbank/Index führen, die/der angibt, welche Medien vorhanden, abspielbar, gelöscht usw. sind. Man muss hier immer bedenken: die Contentindustrie will nicht, dass der Konsument die aufgenommenen Sendungen bis in alle Ewigkeit ansehen, kopieren und sonstwas kann, ohne dafür zu zahlen. Und genau das versuchen sie, mit allen Mitteln durchzusetzen, seien es Kopierschutzsysteme (die manchmal in Benutzungsschutz ausarten), Lobbyismus, Beeinflussung von Standards und was sonst noch so geht. Genau deswegen gibt's ja diesen Müll HD+, Kopierschutzsysteme bei DVD (ja, is schon lange keiner mehr) und Blu-ray, HDCP usw. usf.

MfG Dalai

[brainstuff]

Hallo Dalai,

Die meisten NAS Geräte haben einen Dateimanager, der per Browser läuft ... und das ist noch unbrauchbarer, wie der Explorer ... der zeigt auch nichts anderes an, wie TC .. es ist nur viel schwieriger, wie mit TC, zu vergleichen was auf den beiden Laufwerken ist.

Mit dem was Du da über den "Content-Schutz" sagst, hast Du völlig recht .. das ist alles reine Geldmacherei .. und Idiotenfang. Wir sind alle schon mal auf diese Methoden reingefallen .. schon zu Zeiten von CD's, DVD's und Blue-rays ... da hat man stundenlang, diese Dinger "gebrannt" und dann stellt man nach ein paar Jahren fest, dass nur gebrannter "Brandwein", länger als ein paar Jahre haltbar ist.

Schlimm ist, dass sehr viele Menschen gar nicht sehen, was sie für einen Mist angedreht bekommen ... wenn ich jemand sage, dass ein DVD-Brenner, in einem Notebook völlig unbrauchbar und unnötig ist ... dann hagelt es oftmals Schimpfworte. Vor 2 Wochen habe ich ein i5 Ultranotebook 14" für 222 Franken (ohne CD) in einem Geschäft gefunden, daneben ein anderes für 299 mit 17" screen, i3 und CD-Recorder ... einer von den Schnäpchenjägern hat es mir abgetreten, weil es keinen CD-Drive hat und hat statt dessen den völlig monströsen 17" Kasten gekauft.

Ich habe jetzt die Verzeichniss-Directorys in einer Datei gespeichert und versuche es mit gparted .. aber so wie ich das sehe, geht das wahrscheinlich auch nicht..


Danke,
brainstuff

[Dalai]

Die meisten NAS Geräte haben einen Dateimanager, der per Browser läuft ... und das ist noch unbrauchbarer, wie der Explorer ... der zeigt auch nichts anderes an, wie TC .. es ist nur viel schwieriger, wie mit TC, zu vergleichen was auf den beiden Laufwerken ist.

Es geht weniger darum, etwas zu vergleichen sondern darum, zu schauen, woher der Größenzuwachs kommt. Die von dir genannten Größenordnungen lassen ja vermuten, dass da ganze Strukturen mehrfach vorhanden sind. Aber es könnten auch einfach nur Dateisystemfehler sein. Oder es ist eben kein Ext4 sondern eine Abwandlung oder etwas eigenes. Oder es gibt einen reservierten Bereich.

Ich habe jetzt die Verzeichniss-Directorys in einer Datei gespeichert und versuche es mit gparted .. aber so wie ich das sehe, geht das wahrscheinlich auch nicht..

Ich sehe nicht, wie hier ein Partitionierungsprogramm helfen soll, Verzeichnisbäume zu vergleichen oder auch nur den Inhalt eines Dateisystems anzuzeigen (das tut GParted nämlich nicht). Interessanter wäre - sofern möglich - die Platte mal an ein Linux-System zu hängen und dort zu vergleichen. Wenn das NAS einen Zugriff auf die Shell erlaubt, wäre das umso einfacher. Linux-Tools, die dabei helfen können: ls, md5sum, mc, und es kann auch nicht schaden, sich etwas mit der Shell auszukennen...

MfG Dalai

[milo1012]

Ich kann mir fast nur vorstellen, dass da das Format nicht ganz "ext4" konform ist

Bei diesem blöden BD-HDD Recorder ist zu befürchten, dass er irgend einen Kode speichert, der dann dafür sorgt, dass die Videos nur dann lesbar sind, wenn sie auf dem HDD gelesen werden, auf dem sie ursprünglich gespeichert wurden.

Ist wirklich keine Neuigkeit dass die neuen Universal-Rekorder und Fernseher mit USB-Anschluss
gerne proprietäre Datenformate nutzen und das Ganze noch mit Verschlüsselung, extra-Partitionen oder seltsam konfigurierten Sparse-Dateien versehen.

Das erste was man in diesem Fall macht ist die Doku des Gerätes zu lesen
und in den passenden Foren nach Lösungen zu suchen (z.B. ein offenbar brauchbares Ergebnis).
Also: nicht wundern wenn man an die Rohdaten nicht ran kann,
und stattdessen versuchen die Videos zu dekodieren/entschlüsseln.

Im Grunde genommen ist das mit der Datenspeicherung auf HDD's sowieso "Schnee von Gestern"
...
Wir sind hier schon beim "lokalen" Cloud ... alle Daten sind auf einem NAS .. es hat nur noch Kopien (für unterwegs) auf den Notebooks. Und das, obwohl ich früher einmal das Server-Client-Modell abgelehnt habe.

Das ist schön, stellt aber nur deine Meinung dar.
Dank NSA und schwachen Passwörtern kommt mir sowas nur in sehr begrenztem Rahmen unter die Maus.
Außerdem ist das Ganze nur sinnvoll bei größeren Dateien.
Bei Programmen die mal eben ein paar Tausend Mini-Dateien (z.B. HTML oder Sourcecode) nutzen
wird das Ganze unsagbar langsam, egal wie intensiv Caching bemüht wird.
Das wird auch in zehn Jahren nicht anders sein, Netzwerkprotokoll-Overhead sei dank.

die Contentindustrie will nicht, dass der Konsument die aufgenommenen Sendungen bis in alle Ewigkeit ansehen, kopieren und sonstwas kann, ohne dafür zu zahlen. Und genau das versuchen sie, mit allen Mitteln durchzusetzen, seien es Kopierschutzsysteme (die manchmal in Benutzungsschutz ausarten), Lobbyismus, Beeinflussung von Standards und was sonst noch so geht. Genau deswegen gibt's ja diesen Müll HD+, Kopierschutzsysteme bei DVD (ja, is schon lange keiner mehr) und Blu-ray, HDCP usw. usf.

Mit dem was Du da über den "Content-Schutz" sagst, hast Du völlig recht .. das ist alles reine Geldmacherei .. und Idiotenfang

Die Verschwörungstheorien bitte draussen lassen

[brainstuff]

@milo1012 Danke für den Link ... ist interessant.

@dalai danke für alles ... was man komisches auf beiden Disks lesen kann findest Du auszugsweise hier: mail2vip.com//vippages/tc ext4 problem/ (Du siehst es ist schon komisch was da TC anzeigt ... und das ist hier eigentlich das Thema)

Mit Gparted kann man zwar nicht anzeigen, was drauf ist ... aber man kann die Partition auf eine grössere Platte KOPIEREN!

Und JUCHHEI es geht!

Zuerst habe ich die quell Partition auf das neue, grösssere Disk kopiert .. dann habe ich ausprobiert ob der BD-HDD Recorder das lesen kann .. er konnte, aber ungefähr 10%, war ohne die normale Bildvorschau, aber die Videos konnte man anzeigen. Dann habe ich, mit gparted, die Partition auf die maximale Grösse gebracht ... und dann ging plötzlich alles.

Da muss ich jetzt nur noch den BD-Recorder aufschrauben und das HDD auf die gleiche Art und Weise, auf ein anderes kopieren .. dann sind wenigstens die Daten gesichert ... und dann probiere ich die Ratschläge aus, die in dem, von milo1012, gefundenen Artikel stehen ... vielleicht finde ich dort dann ein Programm, was aus den wahnsinns- (grössenmässig) Dateien, auf dem Samsung, MP4 bzw FLV Dateien macht ... ein Film, der auf dem Samsung Gerät 5 Gb braucht, wird im FLV Format so ca. 1 Gb brauchen ... und in MP4 (oder ähnlichem) auch nicht mehr als 2 Gb ... und ist vor allem nur noch eine einzige Datei die man dann problemlos verwalten und archivieren kann.

Mich interessiert aber immer noch, warum TC, diese Verzeichnisse auf dem NAS nicht richtig lesen kann ... ein kleiner Teil der Fehler besteht aber schlichtweg darin, dass das dämliche Samsung Gerät, jedesmal, wenn man ein externes USB Gerät dran steckt, dieses, automatisch, als Ziellaufwerk, für das Speichern von Videos deklariert und dann aufzeichnet. Das erklärt ein paar Dateien, die auf dem Zieldisk sind, obwohl sie nicht auf dem alten Disk existieren ... aber es erklärt nicht die Tatsache, dass das Ziellaufwerk, auf den Eigenschaften, von TC nur halb voll ist, obwohl es laut dem Samsung Gerät "voll" ist (bei Samsung ist ein HDD schon dann voll, wenn noch ca. 30 GB frei sind ! selbst da wird der Kunde betrogen)

Danke,
brainstuff

[Dalai]

@dalai danke für alles ... was man komisches auf beiden Disks lesen kann findest Du auszugsweise hier: mail2vip.com//vippages/tc ext4 problem/

Mit korrektem Link (ohne doppelten Slash) sieht man auch etwas .

(Du siehst es ist schon komisch was da TC anzeigt ... und das ist hier eigentlich das Thema)

[...]

Mich interessiert aber immer noch, warum TC, diese Verzeichnisse auf dem NAS nicht richtig lesen kann ...

TC kann nur das anzeigen, was ihm das Netzwerkgerät meldet. Ich möchte wetten, dass jeder andere Dateimanager exakt dasselbe anzeigen wird, auch der Explorer.

MfG Dalai

[brainstuff]

Du hast Recht Dalai .. der Link hat einen Slash zuviel..

http://mail2vip.com/vippages/tc ext4 problem/

ist richtig...


Es kann auch gut sein, dass das Synology NAS, da Mist angibt .. vielleicht ist einfach das QNAP (was nichts anzeigen will) "ehrlicher" ... beide haben so ihre Macken ... ich will jetzt nicht die LINUX-Fans verärgern .... aber auch LINUX, hat so seine Fehler .. wahrscheinlich gilt da: "viele Köche verderben den Brei". Ich habe im LINUX Segment immer wieder "tournarrounds" festgestellt und ich hasse "tournarrounds" ... besonders die von LINUX: ... "grub kannst Du nicht von Windows aus starten ... da musst Du erst LINUX installieren und dann Windows mit Grub starten" .. oder so ähnlich. OK .. auch in DOS und Windows gibt es solche Probleme ... wie oft haben wir nicht auf "Z" gedrückt wenn es "Y" heissen soll...?

Überings: gparted geht ganz gut ... aber mit einem Touchpad, mit einer unpräzisen Klick-Funktion, ist das auch mühsam bis gefährlich ...

brainstuff

[HolgerK]

(sorry auch dieser Editor hier versaut meinen Link, weil er keine Leerzeichen, in einem Link kennt ..

http://mail2vip.com/vippages/tc%20ext4%20problem/

HTH
Holger

[brainstuff]

Danke holgerK .. ja, so geht es auch, mit %20 ... aber das ist auch ein "tournarround", es ist da fast besser, das TC-Mehrfachumbenenn-Tool einzusetzen, vor oder nachdem man die Dateien, auf dem Server kopiert hat ... der kann Leerzeichen in "_" umwandeln und gleichzeitig noch dafür sorgen, dass alles klein geschrieben ist und eventuell auch noch Umlaute rausschmeissen. Umwandlung in Kleinschreibung, ist im FTP Programm von TC schon vorgesehen ... das mit dem Unterstrich und Umlauten ist wohl nur schwer zu automatisieren, weil das html Links kaputtmachen würde....

Danke,

brainstuff ..