Erfahrungen mit Puffergrößen bei Copiermethoden
Moderators: Hacker, Stefan2, white
-
- Junior Member
- Posts: 29
- Joined: 2012-10-02, 13:29 UTC
Erfahrungen mit Puffergrößen bei Copiermethoden
Hallo,
Habe nun endlich (wegen TC auf RAM-Disk) systematische Versuche gemacht.
Ich betreibe "riesige" NAS Laufwerke für allerlei Medien. Standard copy/Move von und dahin sind wegen dem "Flaschenhals" LAN sehr langsam (zwischen 20 und mal 60 MBit lt. TC).
Habe "auf selbem Laufwerk" die vorgegebenen 100240 K beibehalten und auf "verschiedenen Laufwerken" 2048 K eingestellt.
Auf "normalen" HDDs gute Steigerung. Wirkt natürlich erst bei großen Dateien.
Aber von und zu den NAS Drives liegen die Werte nun teilweise (vor Allem bei größeren Dateien) deutlich im 120 MBit Bereich!
Bringt mir persönlich sehr viel!
Allerdings nutzt TC zur Pufferung den RAM (geht ja ohne Riesen Aufwand nicht anders!) und muß dazu die sehr schlampig realisierten RAM-Mechanismen von MS nutzen.
MS hat da einen zähen und vermutlich uralten Verwaltungsmechanismus am Laufen. Nach einem derart durchgeführten Copy wird der dafür benutzte RAM Speicher langsamst und in "winzigen" Schritten wieder freigegeben - das dauert!!!
Trotzdem für mich eine sehr gute Lösung!
Vielleicht hat noch jemand geforscht - würde mich sehr interessieren!
Gruß
Chris Keller
BTW (PS)
Der nützliche "Verifizieren Cyclus (MD5-Quersumme)" ist für große Dateien extrem langsam. Habe ihn wieder deaktiviert und "hoffe"...
Habe nun endlich (wegen TC auf RAM-Disk) systematische Versuche gemacht.
Ich betreibe "riesige" NAS Laufwerke für allerlei Medien. Standard copy/Move von und dahin sind wegen dem "Flaschenhals" LAN sehr langsam (zwischen 20 und mal 60 MBit lt. TC).
Habe "auf selbem Laufwerk" die vorgegebenen 100240 K beibehalten und auf "verschiedenen Laufwerken" 2048 K eingestellt.
Auf "normalen" HDDs gute Steigerung. Wirkt natürlich erst bei großen Dateien.
Aber von und zu den NAS Drives liegen die Werte nun teilweise (vor Allem bei größeren Dateien) deutlich im 120 MBit Bereich!
Bringt mir persönlich sehr viel!
Allerdings nutzt TC zur Pufferung den RAM (geht ja ohne Riesen Aufwand nicht anders!) und muß dazu die sehr schlampig realisierten RAM-Mechanismen von MS nutzen.
MS hat da einen zähen und vermutlich uralten Verwaltungsmechanismus am Laufen. Nach einem derart durchgeführten Copy wird der dafür benutzte RAM Speicher langsamst und in "winzigen" Schritten wieder freigegeben - das dauert!!!
Trotzdem für mich eine sehr gute Lösung!
Vielleicht hat noch jemand geforscht - würde mich sehr interessieren!
Gruß
Chris Keller
BTW (PS)
Der nützliche "Verifizieren Cyclus (MD5-Quersumme)" ist für große Dateien extrem langsam. Habe ihn wieder deaktiviert und "hoffe"...
Re: Erfahrungen mit Puffergrößen bei Copiermethoden
Macht sowas in Zeiten von SSDs überhaupt noch Sinn?Chris Keller wrote:[...] (wegen TC auf RAM-Disk) [...]
Sprichst du wirklich von MBit (also Megabit) oder meinst du MB bzw. MiB (Megabyte bzw. Mebibyte)? Denn 20 MBit - oder auch die 60 MBit - sind lächerlich wenig: 2,5 bzw. 7,5 Megabyte/s! Von welchem/welchen NAS reden wir überhaupt? Consumer-Kisten oder etwas teurere professionelle Geräte (muss ja nicht gleich 19 Zoll sein)?Ich betreibe "riesige" NAS Laufwerke für allerlei Medien. Standard copy/Move von und dahin sind wegen dem "Flaschenhals" LAN sehr langsam (zwischen 20 und mal 60 MBit lt. TC).
Ich hab vor vielen Jahren mal mit den Werten rumgespielt und sie seitdem nicht mehr verändert (auch nicht nach dem letzten Kauf einer zusätzlichen Festplatte vor ein paar Monaten):Vielleicht hat noch jemand geforscht - würde mich sehr interessieren!
Code: Select all
Kopiermethode für große Dateien
Quelle+Ziel auf demselben Laufwerk: 15360 k
Quelle+Ziel auf untersch. LW: 64 k
Das ist eine sehr allgemeine Aussage, die weiterer Informationen bedarf: Wie groß ist bei dir groß? Wie langsam ist bei dir langsam? Wo liegen die Dateien (lokal, Netz, USB etc)?Der nützliche "Verifizieren Cyclus (MD5-Quersumme)" ist für große Dateien extrem langsam.
Du hoffst worauf? Dass die Dateien nicht kaputtgehen? Ich erstelle seit Jahren von wichtigen (und großen) Dateien Prüfsummen, bevor ich sie dauerhaft irgendwo ablege, sei es auf DVD, externer Platte oder meinem Server. Dadurch habe ich Prüfsummen, die ich auch später mal verifizieren kann.Habe ihn wieder deaktiviert und "hoffe"...
Übrigens: Letztlich kommt es sehr auf die Hardware sowie die Nutzungsszenarien an, um die für sich passenden Einstellungen herauszufinden. Und auf Netzlaufwerke wirken sich die Puffergrößen nicht so stark aus.
MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
-
- Junior Member
- Posts: 29
- Joined: 2012-10-02, 13:29 UTC
Puffergrössen
Hallo Dalai,
Danke für die schnelle und aufschlußreiche Antwort.
Ich kopiere viel 1080p Filme/Videos von und zu NAS (via LAN, da derzeit USB-4 noch nicht da und für NAS sowieso erst später kommt).
Sorry wegen der "x" Bit - hab, ohne Hirn, einfach den jew. Wert, den TC angibt, genommen!
Bei den "normalen" Dateien fällt die TC Prüfsummenprüfung bis in die 100 MB auf meiner starken HW kaum auf, aber bei den 5-15 GB Videos schon arg... Besonders wenn sie dann offenbar jeweils vom NAS nochmal gelesen werden müssen.
Wie (mit welchem Werkzeug) erstellst Du die Prüfsummen? Vielleicht ein Lösungsansatz auch für mich (!).
Nun werde ich mit Deinen Cache Werten Versuche in meiner Umgebung anstellen...
Und den Tip mit den Laufwerksbuchstaben prüfen und beherzigen!
herzlichen Dank und Gruß
Chris
Danke für die schnelle und aufschlußreiche Antwort.
Ich kopiere viel 1080p Filme/Videos von und zu NAS (via LAN, da derzeit USB-4 noch nicht da und für NAS sowieso erst später kommt).
Sorry wegen der "x" Bit - hab, ohne Hirn, einfach den jew. Wert, den TC angibt, genommen!
Bei den "normalen" Dateien fällt die TC Prüfsummenprüfung bis in die 100 MB auf meiner starken HW kaum auf, aber bei den 5-15 GB Videos schon arg... Besonders wenn sie dann offenbar jeweils vom NAS nochmal gelesen werden müssen.
Wie (mit welchem Werkzeug) erstellst Du die Prüfsummen? Vielleicht ein Lösungsansatz auch für mich (!).
Nun werde ich mit Deinen Cache Werten Versuche in meiner Umgebung anstellen...
Und den Tip mit den Laufwerksbuchstaben prüfen und beherzigen!
herzlichen Dank und Gruß
Chris
Re: Puffergrössen
TC zeigt kbyte/s an. Also meintest du entweder das oder tatsächlich MByte/s, was dann je nach Auslegung MB/s oder MiB/s sein können - letztlich egal, denn wichtig ist, dass wohl keine MBit/s gemeint waren. Und dann sind die angegebenen Werte zwischen 20 und 60 bzw. 120 MB/s auch sinnvoll und passend schnell.Chris Keller wrote:Sorry wegen der "x" Bit - hab, ohne Hirn, einfach den jew. Wert, den TC angibt, genommen!
Nuja, klar fällt das ins Gewicht. Nur weil eine Richtung (PC -> NAS) schnell ist, heißt das nicht automatisch, dass es die andere (NAS -> PC) auch ist. Und wenn du mehrere solcher großen Brocken kopierst, müssen die alle nochmal vom NAS gelesen werden, um die Prüfsumme der Zeildatei(en) zu ermitteln und mit denen der Quelldatei vergleichen zu können.Bei den "normalen" Dateien fällt die TC Prüfsummenprüfung bis in die 100 MB auf meiner starken HW kaum auf, aber bei den 5-15 GB Videos schon arg... Besonders wenn sie dann offenbar jeweils vom NAS nochmal gelesen werden müssen.
Hab ich tatsächlich nicht geschrieben (weil ich dachte, es wäre bekannt), aber ich mache das selbstverständlich direkt im TC: Menü Dateien > Erzeuge Quersummen (zum Überprüfen dann Dateien > Verifiziere Quersummen bzw. ein einfaches Enter/Doppelklick auf die Prüfsummendatei).Wie (mit welchem Werkzeug) erstellst Du die Prüfsummen? Vielleicht ein Lösungsansatz auch für mich (!).
MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
-
- Junior Member
- Posts: 29
- Joined: 2012-10-02, 13:29 UTC
-
- Junior Member
- Posts: 29
- Joined: 2012-10-02, 13:29 UTC
Hallo Dalai,
hatte noch vergessen (bißchen Alzheimer ist immer!) zu erwähnen, daß auf meinen NAS Laufwerken jeweils RAID5 läuft.
Das ergibt hohe Sicherheit. Der Zeitaufwand bei evt. nötigen Rocovery ist dann zwar hoch, aber die Daten sind recht sicher.
Prüfe nach dem Kopieren die Riesenfiles immer durch Abspielen. Falls da was kaputt gegangen wäre, könnten die meisten Videoplayer gar nicht erst damit starten...
Das noch zu "hoffen".
Gruß
hatte noch vergessen (bißchen Alzheimer ist immer!) zu erwähnen, daß auf meinen NAS Laufwerken jeweils RAID5 läuft.
Das ergibt hohe Sicherheit. Der Zeitaufwand bei evt. nötigen Rocovery ist dann zwar hoch, aber die Daten sind recht sicher.
Prüfe nach dem Kopieren die Riesenfiles immer durch Abspielen. Falls da was kaputt gegangen wäre, könnten die meisten Videoplayer gar nicht erst damit starten...
Das noch zu "hoffen".
Gruß
Hohe Sicherheit bis zum Ausfall maximal einer Festplatte! Sobald eine weitere stirbt, ist es Essig mit den Daten.Chris Keller wrote:daß auf meinen NAS Laufwerken jeweils RAID5 läuft.
Das ergibt hohe Sicherheit.
Irrtum! Gerade Videodateien, aber auch Audio- und Bilddateien sind relativ robust, wenn es um Fehler geht, solange die Fehler nicht in relevanten Bereichen sind (z.B. Header oder Keyframes). Treten die Fehler an anderen Stellen auf, spielt der Player die Datei ab, bis er dann evtl. an der fehlerhaften Stelle abbricht. Manche Player sind aber toleranter als andere. VLC z.B. kann Teile von AVI/DivX-Dateien (ist mir gerade entfallen, welche Teile das genau waren) im Speicher vor dem Abspielen wiederherstellen. Die Datei ist aber dennoch kaputt.Prüfe nach dem Kopieren die Riesenfiles immer durch Abspielen. Falls da was kaputt gegangen wäre, könnten die meisten Videoplayer gar nicht erst damit starten...
Was ich damit sagen will: ein simples Anspielen, aber selbst komplettes Abspielen, ist kein geeignetes Mittel, um die Fehlerfreiheit von Multimediainhalten zu bestimmen oder sicherzustellen. Das gilt auch für den von dir gewählten Speicherort auf einem RAID. Davon abgesehen ersetzt ein RAID keinesfalls ein Backup von Daten. RAID dient ausschließlich der Ausfallsicherheit. Schließlich gibt es noch mehr Gründe, warum Daten kaputtgehen können: Dateisystemfehler, Stromausfälle (mit ersterem als Folge), Benutzerfehler usw. Davor schützen nur: Backups, Backups und Backups, sinnvollerweise inkl. Prüfsummen, um bestimmen zu können, dass das Backup auch etwas taugt. Und: ein Backup ohne einen aussagekräftgen Test der Wiederherstellung desselben, ist kein Backup (denn was nützt ein nicht funktionierendes Backup?).
MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
-
- Junior Member
- Posts: 29
- Joined: 2012-10-02, 13:29 UTC
Hallo Dalai,
Du hast absolut recht!
Als ex. IT Profi weiß ich viel davon auch, aber bin durchs Alter etwas weiter weg...
Mit RAID 5 habe ich, als das neu war, intensiv beschäftigt.
Mir war immer klar, daß das ein "Notnagel" für den Ausfall nur von Einzellaufwerken in einem Verbund ist - der statistisch am häufigsten vorkomme (wurde damals behauptet).
Aber damals hatten wir diese Monsterdateien noch nicht - nur die großen Datenbanken, die eine große Sicherheit auf Transaktionsebene boten (IBM DB2 und Oracle). Mit extremem Aufwand an Rechenleistung...
Dazu Bandeinheiten, auf die zusätzlich "dauernd" mit-gesichert wurde.
Könntest Du mir einen Gefallen tun, und mir einige Hinweise (Links) zu dem Thema in der heutigen PC/TC Welt zukommen lassen.
Mir ist das Thema nur in der Theorie bekannt (früher war das in den Großrechnern angeblich "Hardware Sache"), daß man mit diesen Prüfsummen Daten rekonstruieren kann.
Aber wie das heute gemacht wird, würde mich sehr interessieren - man will ja immer (noch) dazulernen!
Und Du bist offenbar auf aktuellstem Stand!
Ich habe nun (auf Deinen Rat) in TC sofort den Schalter "MD5-Quersumme" wieder aktiviert und wende halt die Wartezeit dafür auf.
Aber wie's dann im Fehlerfall weitergeht, weiß ich noch nicht... Und wo Du die Prüfziffern zum Sichern herholst, um sie notfalls einsetzen zu können, wäre natürlich auch interessant für mich.
Sicher kennst Du die aktuellen Quellen dafür...
Der Austausch mit Dir macht mir Freude - hoffe sehr, Dich nicht damit zu langweilen. Danke!
herzliche Grüße
Chris
Du hast absolut recht!
Als ex. IT Profi weiß ich viel davon auch, aber bin durchs Alter etwas weiter weg...
Mit RAID 5 habe ich, als das neu war, intensiv beschäftigt.
Mir war immer klar, daß das ein "Notnagel" für den Ausfall nur von Einzellaufwerken in einem Verbund ist - der statistisch am häufigsten vorkomme (wurde damals behauptet).
Aber damals hatten wir diese Monsterdateien noch nicht - nur die großen Datenbanken, die eine große Sicherheit auf Transaktionsebene boten (IBM DB2 und Oracle). Mit extremem Aufwand an Rechenleistung...
Dazu Bandeinheiten, auf die zusätzlich "dauernd" mit-gesichert wurde.
Könntest Du mir einen Gefallen tun, und mir einige Hinweise (Links) zu dem Thema in der heutigen PC/TC Welt zukommen lassen.
Mir ist das Thema nur in der Theorie bekannt (früher war das in den Großrechnern angeblich "Hardware Sache"), daß man mit diesen Prüfsummen Daten rekonstruieren kann.
Aber wie das heute gemacht wird, würde mich sehr interessieren - man will ja immer (noch) dazulernen!
Und Du bist offenbar auf aktuellstem Stand!
Ich habe nun (auf Deinen Rat) in TC sofort den Schalter "MD5-Quersumme" wieder aktiviert und wende halt die Wartezeit dafür auf.
Aber wie's dann im Fehlerfall weitergeht, weiß ich noch nicht... Und wo Du die Prüfziffern zum Sichern herholst, um sie notfalls einsetzen zu können, wäre natürlich auch interessant für mich.
Sicher kennst Du die aktuellen Quellen dafür...
Der Austausch mit Dir macht mir Freude - hoffe sehr, Dich nicht damit zu langweilen. Danke!
herzliche Grüße
Chris
Du meinst beim RAID 5? Ja, dort wird das gemacht, ebenso beim RAID 6. Aber ich bin da ganz ehrlich: Ich musste gestern nochmal nachschauen, weil ich mir nicht ganz sicher war, noch das Richtige im Kopf gehabt zu haben, wieviele Platten da nun ausfallen dürfen; aber schon anhand der Logik und der Mindestanzahl von Platten bei einem RAID 5 (drei Stück) ergibt sich, dass nicht mehr als die Hälte ausfallen kann. Auf dieser Seite finde ich das gut beschrieben.Chris Keller wrote:Mir ist das Thema nur in der Theorie bekannt (früher war das in den Großrechnern angeblich "Hardware Sache"), daß man mit diesen Prüfsummen Daten rekonstruieren kann.
Also wie es in der Praxis gemacht wird, weiß ich ebenfalls nicht, weil ich damit nicht wirklich zu tun habe. In der Firma setzen wir zwar in einem Server RAID-1 ein, aber sonst hab ich damit nichts zu tun. Mir ist aber bekannt, dass der Trend zu höheren RAID-Leveln geht aufgrund der steigenden Festplattengrößen in Verbindung mit konstanten Fehlerwahrscheinlichkeiten. Sehr aufschlussreich fand ich den Artikel bei ZDnet: Why RAID 6 stops working in 2019.Aber wie das heute gemacht wird, würde mich sehr interessieren - man will ja immer (noch) dazulernen!
Das hilft dir aber nur, um zum Zeitpunkt des Kopierens korrekte Dateiinhalte zu verifizieren. Geht eine Datei später aus welchen Gründen immer kaputt (Dateisystemfehler, Benutzerfehler, gekipptes Bit aufgrund eines Controller- oder Festplattenfehlers), bekommt man das nicht mehr mit. Das geht nur mit von Hand erstellten Prüfsummendateien wie MD5, SHA1 usw.Ich habe nun (auf Deinen Rat) in TC sofort den Schalter "MD5-Quersumme" wieder aktiviert und wende halt die Wartezeit dafür auf.
Gar nicht, jedenfalls nicht aus irgendwelchen Prüfsummen. Der Gag bei Prüfsummen ist ja, dass es Hashes sind, und aus Hashes kann man niemals die ursprünglichen Daten wiederherstellen, jedenfalls nicht so, wie man sich das denkt. Ich will nur wissen, ob eine Datei kaputt ist. Wenn das der Fall ist, wird sie - je nach Medium - aus einem Backup wiederhergestellt. Bei CDs/DVDs kann man DVDisaster einsetzen, aber wer verwendet heute schon noch optische Medien (außer mirAber wie's dann im Fehlerfall weitergeht, weiß ich noch nicht... Und wo Du die Prüfziffern zum Sichern herholst, um sie notfalls einsetzen zu können, wäre natürlich auch interessant für mich.

MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Na na, nicht so schnell auf den Zug aufspringen und optische Medien totsagen.Dalai wrote:aber wer verwendet heute schon noch optische Medien (außer mir)?
Sollen demnächst sämtliche Zeitschriften am Kiosk mit Wegwerf-USB-Stick ausgeliefert werden, auf Messen und Konferenzen statt Werbe- und Visitenkarten-CDs eine SD-Karte in die Hand gedrückt werden?
Allein vom Umwelt-Gesichtspunkt wäre das eine Katastrophe.
Und ich nehme an der TC wird dann demnächst bei Kauf auch mit kostenlosem USB-Stick verschickt

Natürlich geht die Nutzung von optischen Medien zurück, aber von Aussterben kann keine Rede sein.
Immer wieder lustig zu sehen wie Dinge totgesagt werden obwohl es eigentlich keine wirkliche Alternative gibt, und bei unserem schleppendem Breitbandausbau in Deutschland erst recht.
Diesen Artikel möchte ich dazu auch mal empfehlen.
DVDisaster ist wunderbar, aber warum nicht gleich WinRAR mit RecoveryRecord?Dalai wrote:Bei CDs/DVDs kann man DVDisaster einsetzen
Ist das selbe Prinzip und hat mir schon mehrmals Daten gerettet.
In der neuen 5er Version wurde der Algorithmus sogar nochmals verbessert.
Wenn ich Backup mache dann nur Rar, weil mittlerweile alles was das Dateisystem liefert mitgespeichert wird und Prüfsummen sowieso im Archiv sein müssen.
TC plugins: PCREsearch and RegXtract
Mach ich doch gar nicht. Ich verwende sie ja selber (und hab nicht zum Spaß seit einem Jahrzehnt vier optische Laufwerke in meinem Rechner und zwei in meinem Server). Aber ich bemerke selbst bei mir, dass ich schon weniger Medien brenne als früher, weil Festplatten und Netzlaufwerke einfacher, schneller und billiger sind. Nichtsdestotrotz brenne ich auch heute noch meine ganzen TV-Aufzeichnungen auf DVD raus.milo1012 wrote:Na na, nicht so schnell auf den Zug aufspringen und optische Medien totsagen.
Darum geht's doch gar nicht. Es geht darum, dass die Leute selber viel weniger solcher optischer Medien zum Speichern von Daten verwenden, sie also weniger selbst beschreiben. Es geht mir nicht um gepresste Medien, die wieder eine völlig andere Geschichte sind.Sollen demnächst sämtliche Zeitschriften am Kiosk mit Wegwerf-USB-Stick ausgeliefert werden, auf Messen und Konferenzen statt Werbe- und Visitenkarten-CDs eine SD-Karte in die Hand gedrückt werden?
Mir war so, als wären bei WinRAR nur 5% Wiederherstellungsinfo voreingestellt, was nicht gerade viel ist. Man muss wissen, wieviel Info nötig ist, um den eigenen Anforderungen und Gegebenheiten gerecht zu werden. Zudem muss man WinRAR bezahlen, wenn man es dauerhaft nutzen will. Aber ich gebe es zu: ich benutze WinRAR zwar sehr intensiv, aber die Recovery Records hab ich noch nie verwendet, und deshalb hab ich gar nicht dran gedacht, das vorzuschlagen. Nur seien wir mal ehrlich: Warum sollte man eine große Videodatei - um die es hier im Thema ja geht - in ein Archiv packen, die man erst langwierig auspacken muss, um sie verwenden zu können?DVDisaster ist wunderbar, aber warum nicht gleich WinRAR mit RecoveryRecord?
MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Man bekommt auf solchen Veranstaltungen gerne auch mal "selbstgebranntes" und selbstbedrucktes in die Hand gedrückt, ist zumindest meine Erfahrung.Dalai wrote:Es geht mir nicht um gepresste Medien, die wieder eine völlig andere Geschichte sind.
Außerdem schließt sich da der Kreis: durch das Propagieren des Arguments: "benutzt doch sowieso keiner mehr", gehen eben mittlerweile einige Hersteller so weit,
dass neue PCs und Notebooks noch nicht mal optional ein optisches Laufwerk anbieten und man selbst ein externes anschaffen muss.
Ist aber auch egal wie man es dreht, man braucht am Ende trotzdem ein Laufwerk.
"Viel" ist immer noch relativ. Zu viel Redundanz im Archiv ist relativ sinnfrei wenn das Medium selbst defekt istDalai wrote:Mir war so, als wären bei WinRAR nur 5% Wiederherstellungsinfo voreingestellt, was nicht gerade viel ist. Man muss wissen, wieviel Info nötig ist, um den eigenen Anforderungen und Gegebenheiten gerecht zu werden.
Wenn dir fünf Prozent zu wenig sind solltest du wirklich lieber ein zweites Backup machen, denn wenn ein Backupmedium so beschädigt ist dass mehr als 5 Prozent futsch sind nützt dir auch das beste Verfahren wenig, irgendwelche Dateien sind dann mit Sicherheit defekt und du hast ganz andere Probleme.
Ich persönlich benutze zwei Prozent, weil das völlig ausreicht um durch defekte Festplattensektoren beschädigte Teile zu korrigieren,
und man kann die Datei auch im Netzwerk und online anbieten um Bitdrehern vorzubeugen, ohne zu viel Redundanz zu erzeugen.
Für optische Träger nehme ich meist auch mehr, wobei da mehr als fünf Prozent auch relativ sinnfrei ist.
Eine Scheibe die derartig beschädigt ist braucht auch mit den besten Programmen (IsoBuster und Co.) Stunden um eingelesen zu werden und man hat dann wirklich ein ernstes Problem.
Mach den Test:Dalai wrote:aber die Recovery Records hab ich noch nie verwendet
Nimm eine kleine Textdatei, packe sie mit 1-2 Prozent RR.
jetzt hast du z.B. 1024 Byte Recovery-Daten. (zu sehen mit WinRar -> Info)
Jetzt nimm dir einen Hex-Editor und verändere an beliebiger Stelle bis zu einigen hundert Bytes,
oder an mehreren Stellen kleinere Teile.
Repariere das Archiv mit WinRar. Es sollte komplett wiederherstellbar sein.
Das klappt auch wenn die redundanten Daten selbst teil-defekt sind, natürlich lassen sich dann weniger Daten wiederherstellen.
Wenn nun z.B. die Festplatte/SSD/CD/DVD defekte Sektoren hat ist das eine hervorragende Maßnahme sich den daraus ergebenden Problemen zu entziehen.
Es ging um verifizierte Backups, damit es nicht gleich ein teures, redundantes und stromfressendes RAID sein muss.Dalai wrote:Warum sollte man eine große Videodatei - um die es hier im Thema ja geht - in ein Archiv packen, die man erst langwierig auspacken muss, um sie verwenden zu können
Was nützt dir ein Backup, wenn es am Ende (Teil-)defekt ist.
Prüfsummen sind schön und gut, aber warum nicht gleich eine Vorwärtsfehlerkorrektur mit anhängen, wenn man schon dabei ist.
Außerdem ist das Auspacken auf heutigen Systemen nun wirklich kein Performanceproblem mehr, und das Backup benutzt man ja i.d.R. nur im "Ernstfall".
TC plugins: PCREsearch and RegXtract
Dieses Weitergeben von Daten an andere ist trotzdem etwas anderes, als wenn man die Daten für sich selber auf optischen Medien speichert.milo1012 wrote:Man bekommt auf solchen Veranstaltungen gerne auch mal "selbstgebranntes" und selbstbedrucktes in die Hand gedrückt, ist zumindest meine Erfahrung.Dalai wrote:Es geht mir nicht um gepresste Medien, die wieder eine völlig andere Geschichte sind.
Dafür ist es gut geeignet, da stimme ich dir zu.Es ging um verifizierte Backups, damit es nicht gleich ein teures, redundantes und stromfressendes RAID sein muss.
*hust* *hust* Ich hab grad so einen Hustenreiz. Dir ist bekannt, dass die Datenmengen auch ständig größer werden? Da spielt die Performance heutiger Systeme keine wirkliche Rolle mehr. Oder anders ausgedrückt: die Datenmengen werden in etwa im gleichen Maße größer wie die Leistung der Systeme steigt. Wenn man wirklich Videodateien so um 10 oder 15 GiB hat, macht ein Auspacken echt keinen Spaß mehr, intern nicht, und schon gar nicht über LAN oder gar irgendwas externes.Außerdem ist das Auspacken auf heutigen Systemen nun wirklich kein Performanceproblem mehr, und das Backup benutzt man ja i.d.R. nur im "Ernstfall".
Performanceprobleme ergeben sich schon daraus, dass solche Datenmengen den Windows-Cache (fast) komplett leeren können, womit das System erstmal die benutzten Programme wieder von der Platte lesen muss (nicht zu verwechseln mit Swap). Und bevor das Argument kommt: ja, natürlich betrifft das auch normales Kopieren solcher Datenmengen. Ich will nur sagen: Ob man nun kopiert oder auspackt, beides ist gleichermaßen ein Performancekiller bei solchen Datenmengen.
MfG Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64
Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
Nein, ich falle gerade aus allen Wolken.Dalai wrote:Dir ist bekannt, dass die Datenmengen auch ständig größer werden?...Oder anders ausgedrückt: die Datenmengen werden in etwa im gleichen Maße größer wie die Leistung der Systeme steigt

Was hat das jetzt aber mit der Problematik zu tun?
Erstens muss man natürlich abwägen was man nun haben möchte: schnellen Zugriff auf das Backupmedium oder echte Sicherheit, das war schon immer so!
Vor 10 Jahren habe ich mich auch noch gelegentlich mit Streamern herumgeschlagen, die im Ernstfall eine Stunde und mehr gebraucht haben um alles wieder herzustellen.
Wenn ich jetzt, wie im Beispiel, wirklich Videodateien sichern will, könnte man natürlich darauf verzichten es in ein Archiv zu packen wenn es sich nicht gerade um wertvolle Privataufnahmen handelt,
und die Dateien einfach kopieren.
Zweitens, die I/O-Performance ist sowieso der Flaschenhals am System, immer!
Also ist das sowieso zweitrangig wenn man ein Backup eben wirklich nur im Ernstfall braucht und sonst auf alle Dateien im Hauptsystem direkten Zugriff hat.
Das meinte ich eben mit Performance, sprich dass die CPU sich beim Entpacken i.d.R. langweilt, selbst auf schnellen SSDs.
Also: entweder, oder.
Wer eine simple Spiegelung der Daten für schnellen Zugriff haben will, der soll das tun.
Wer aber mit Fehlerkorrektur versehene, verifizierte Backups haben möchte, wird das wohl tunlichst vermeiden wollen.
TC plugins: PCREsearch and RegXtract