Pomale overovanie dat cez SMB
Moderator: Hacker
Pomale overovanie dat cez SMB
Zdravim, kupil som si Synology NAS a mam problem s overovanim dat po skopirovani (verify). V TC mam nastavene, ze nech po skopirovani overi konzistentnost suborov. Problem je, ze to ide oproti kopirovaniu rychlostou cca 40-50%, teda cca 50MB/s. Kopirovanie na a zo servera funguje blizko rychlosti 100-110MB/s, len to overovanie je strasne pomale.
Skusal som aj overovat MD5 alebo SHA subory, ktore su na NASe, ale to ide tiez pomaly cca 30-40 MB/s.
V com moze byt problem? Skusal som nastavit jumbo frames, pomoze to iba trocha tak do 7-10%. Mam na obidvoch stranach 1Gbit/s sietovku, SMB nastavene na verziu SMB2 + Large MTU, sifrovanie vypnute, HDD v PC dava viac ako 170MB/s.
Neviem co mam skusit, pomohla by 2,5Gbit sietovka?
Skusal som aj iny software, niektore boli pomalsie, no jeden daval az 84% z maxima (speedcommander). Co mam v TC nastavit?
Tu su obrazky a rychlosti:
https://ctrlv.link/shots/2023/03/12/c3Zl.png
https://ctrlv.link/shots/2023/03/12/UA0e.png
https://ctrlv.link/shots/2023/03/12/xPe6.png
https://ctrlv.link/shots/2023/03/12/fxf7.png
Jedna sa o subory velkosti niekolko GB, ziadne 100kB malicke subory.
Chcel by som, aby sa zrychlil vypocet hash suborov z NASu, ale aj to overovanie integrity po kopirovani.
Dakujem.
EDIT: upravene linky z https://ctrlv.sk na https://ctrlv.link z nejakeho dovodu mi nefungovali s sk koncovkou.
PS: ak vam nefunguju odkazy na obrazky, tak mne pomohlo kliknut na SK/CZ/EN vlajocku hore vpravo.
PS2: zaloha screenshotov je tu: https://uloz.to/tamhle/PbZdqUU9HKLN
Skusal som aj overovat MD5 alebo SHA subory, ktore su na NASe, ale to ide tiez pomaly cca 30-40 MB/s.
V com moze byt problem? Skusal som nastavit jumbo frames, pomoze to iba trocha tak do 7-10%. Mam na obidvoch stranach 1Gbit/s sietovku, SMB nastavene na verziu SMB2 + Large MTU, sifrovanie vypnute, HDD v PC dava viac ako 170MB/s.
Neviem co mam skusit, pomohla by 2,5Gbit sietovka?
Skusal som aj iny software, niektore boli pomalsie, no jeden daval az 84% z maxima (speedcommander). Co mam v TC nastavit?
Tu su obrazky a rychlosti:
https://ctrlv.link/shots/2023/03/12/c3Zl.png
https://ctrlv.link/shots/2023/03/12/UA0e.png
https://ctrlv.link/shots/2023/03/12/xPe6.png
https://ctrlv.link/shots/2023/03/12/fxf7.png
Jedna sa o subory velkosti niekolko GB, ziadne 100kB malicke subory.
Chcel by som, aby sa zrychlil vypocet hash suborov z NASu, ale aj to overovanie integrity po kopirovani.
Dakujem.
EDIT: upravene linky z https://ctrlv.sk na https://ctrlv.link z nejakeho dovodu mi nefungovali s sk koncovkou.
PS: ak vam nefunguju odkazy na obrazky, tak mne pomohlo kliknut na SK/CZ/EN vlajocku hore vpravo.
PS2: zaloha screenshotov je tu: https://uloz.to/tamhle/PbZdqUU9HKLN
Last edited by Guliver on 2023-04-06, 16:00 UTC, edited 5 times in total.
Re: Pomale overovanie dat cez SMB
Guliver,
To zial nie je trivialny troubleshooting. Kazdopadne kopirovanie na NAS posiela data na NAS, a overovanie ich posiela z NASu naspat. Aka je rychlost kopirovania na NAS a z NAS? Samotne vytvaranie MD5 tiez nie je zrovna extra rychle.
Roman
To zial nie je trivialny troubleshooting. Kazdopadne kopirovanie na NAS posiela data na NAS, a overovanie ich posiela z NASu naspat. Aka je rychlost kopirovania na NAS a z NAS? Samotne vytvaranie MD5 tiez nie je zrovna extra rychle.
Roman
Mal angenommen, du drückst Strg+F, wählst die FTP-Verbindung (mit gespeichertem Passwort), klickst aber nicht auf Verbinden, sondern fällst tot um.
Re: Pomale overovanie dat cez SMB
Samotne kopirovanie cca 100MB/s, ak zapnem jumbo frames tak to atakuje 110-112MB/s. Ale ak pri kopirovani cez F5 zaskrtnem aj volbu overit, tak to overovanie trva cca 2x tolko, vid. prvy obrazok. Ono totiz neoveruje byte po byte, ale pocita tusim MD5 hash. Neviem ci sa TC da donutit aby data porovnaval priamo "batj tu batj".
Pre dolezite subory si generujem MD5 alebo SHA1 hashe, to v pocitaci ide celkom rychlo. Ale ked chcem overit nejake data na NASe, tak je to strasne pomale, akokeby to vobec nemalo nejaku cache alebo tak. Uz aj ta 1Gbit sietovka obmedzuje HDD, su disky ktore daju aj viac ako 250MB/s. Takto sa mi to kopirovanie s overenim natiahne na niekolko nasobok.
Skusal som aj zmenit cache tuto https://ctrlv.sk/shots/2023/03/12/ZqNH.png ale nema to ziaden vplyv.
Pre dolezite subory si generujem MD5 alebo SHA1 hashe, to v pocitaci ide celkom rychlo. Ale ked chcem overit nejake data na NASe, tak je to strasne pomale, akokeby to vobec nemalo nejaku cache alebo tak. Uz aj ta 1Gbit sietovka obmedzuje HDD, su disky ktore daju aj viac ako 250MB/s. Takto sa mi to kopirovanie s overenim natiahne na niekolko nasobok.
Skusal som aj zmenit cache tuto https://ctrlv.sk/shots/2023/03/12/ZqNH.png ale nema to ziaden vplyv.
Re: Pomale overovanie dat cez SMB
Guliver,
Roman
Aj z PC na NAS, aj z NAS na PC, ano? Overene oboma smermi?Samotne kopirovanie cca 100MB/s
Roman
Mal angenommen, du drückst Strg+F, wählst die FTP-Verbindung (mit gespeichertem Passwort), klickst aber nicht auf Verbinden, sondern fällst tot um.
Re: Pomale overovanie dat cez SMB
Ahoj, prikladam dalsie obrazky, z ktorych by malo byt vsetko jasne. V podstate ak nemam zapnute overovanie po kopirovani (verify after copying MD5 checksum) https://ctrlv.link/shots/2023/04/06/6ISQ.png tak su rychlosti skoro na maxime. Kopirovanie z pocitaca na NAS je asi z dovodu rezie cca 90%, pri kopirovani z NASu do pocitaca je to cca 95-99%, co je v podstate OK.
Problem je ked je to overovanie zapnute, rychlosti padaju na cca 35-45%. Ale overovanie podla obsahu v "Synchronizacia priecinkov" ide na cca 65%.
Skusal som najst nieco, co by sa vypoctovo mohlo tejto funkcii podobat a vyuzil som na toto rozbalovanie nekomprimovaneho RAR archivu. Uz aj extrakcia z NASu ide rychlostou cca 79%, a samotne overovanie hashu v RAR subore (CRC32) dava cca 85%. Vyskusal som to vo WinRARe aj v samotnom TC (ALF+F9 aj ALT+SHIFT+F9), rychlostou sa to vobec nelisi, ide to 79-85%, takze v podstate 2x rychlejsie rozbalim data z NASu ako skopirujem s overenim.
Prikladam obrazky:
https://ctrlv.link/shots/2023/04/06/VCMi.png
https://ctrlv.link/shots/2023/04/06/7aw2.png
https://ctrlv.link/shots/2023/04/06/gOWH.png
https://ctrlv.link/shots/2023/04/06/O3Ak.png
https://ctrlv.link/shots/2023/04/06/CAl6.png
https://ctrlv.link/shots/2023/04/06/LU4k.png
https://ctrlv.link/shots/2023/04/06/rdbn.png
Vypada to, akokeby si TC skopiroval kusok dat a potom pocital hash, opat skopiroval dalsi kusok dat a opat pocital hash. Alebo je problem s malym bufferom? Nenapada ma iny bottleneck. Mozno by sa to dalo reimplementovat a nepocitat MD5 co je aj zastarale aj pomale ale napriklad BLAKE2 alebo BLAKE3, pouziva to uz aj Winrar.
Este by som to spravil aj tak, ze pridal by som moznost overovat po kopirovani aj priamo "BYTE to BYTE", nie len pocitat ten MD5 hash po skopirovani. Teda napriamo citat data aj zo zdroja aj z ciela, a porovnavat jednotlive bajty. Mozno by to prinieslo nejaky narast rychlosti. Funkcia v TC "Synchronizacia priecinkov" ide na cca 65% https://ctrlv.link/shots/2023/04/06/7aw2.png . Mozno by sa to dalo zoptimalizovat aj na ovela viac, pretoze speed commander dava 84% https://ctrlv.link/shots/2023/03/12/fxf7.png
Dakujem.
Problem je ked je to overovanie zapnute, rychlosti padaju na cca 35-45%. Ale overovanie podla obsahu v "Synchronizacia priecinkov" ide na cca 65%.
Skusal som najst nieco, co by sa vypoctovo mohlo tejto funkcii podobat a vyuzil som na toto rozbalovanie nekomprimovaneho RAR archivu. Uz aj extrakcia z NASu ide rychlostou cca 79%, a samotne overovanie hashu v RAR subore (CRC32) dava cca 85%. Vyskusal som to vo WinRARe aj v samotnom TC (ALF+F9 aj ALT+SHIFT+F9), rychlostou sa to vobec nelisi, ide to 79-85%, takze v podstate 2x rychlejsie rozbalim data z NASu ako skopirujem s overenim.
Prikladam obrazky:
https://ctrlv.link/shots/2023/04/06/VCMi.png
https://ctrlv.link/shots/2023/04/06/7aw2.png
https://ctrlv.link/shots/2023/04/06/gOWH.png
https://ctrlv.link/shots/2023/04/06/O3Ak.png
https://ctrlv.link/shots/2023/04/06/CAl6.png
https://ctrlv.link/shots/2023/04/06/LU4k.png
https://ctrlv.link/shots/2023/04/06/rdbn.png
Vypada to, akokeby si TC skopiroval kusok dat a potom pocital hash, opat skopiroval dalsi kusok dat a opat pocital hash. Alebo je problem s malym bufferom? Nenapada ma iny bottleneck. Mozno by sa to dalo reimplementovat a nepocitat MD5 co je aj zastarale aj pomale ale napriklad BLAKE2 alebo BLAKE3, pouziva to uz aj Winrar.
Este by som to spravil aj tak, ze pridal by som moznost overovat po kopirovani aj priamo "BYTE to BYTE", nie len pocitat ten MD5 hash po skopirovani. Teda napriamo citat data aj zo zdroja aj z ciela, a porovnavat jednotlive bajty. Mozno by to prinieslo nejaky narast rychlosti. Funkcia v TC "Synchronizacia priecinkov" ide na cca 65% https://ctrlv.link/shots/2023/04/06/7aw2.png . Mozno by sa to dalo zoptimalizovat aj na ovela viac, pretoze speed commander dava 84% https://ctrlv.link/shots/2023/03/12/fxf7.png
Dakujem.
Re: Pomale overovanie dat cez SMB
Guliver,
Obavam sa, ze osobne ti zial neviem pomoct![Sad :(](./images/smilies/icon_sad.gif)
Roman
Obavam sa, ze osobne ti zial neviem pomoct
![Sad :(](./images/smilies/icon_sad.gif)
Roman
Mal angenommen, du drückst Strg+F, wählst die FTP-Verbindung (mit gespeichertem Passwort), klickst aber nicht auf Verbinden, sondern fällst tot um.
Re: Pomale overovanie dat cez SMB
Vedel by niekto spravit podobne meranie s rychlejsou 2,5/5/10Gbit sietovou kartou na obidvoch stranach? Chcem vediet, ci sa mi oplati zainvestovat do lepsej sietovky.
Nemusi sa jednat o Synology NAS, ani nic podobne. Stacia dva zosietovane pocitace.
Dakujem.
Nemusi sa jednat o Synology NAS, ani nic podobne. Stacia dva zosietovane pocitace.
Dakujem.
Re: Pomale overovanie dat cez SMB
Guliver,
Roman
Zial nemam o nic lepsie moznosti, nez ty. Daj text prelozit do DeepL a zverejni ho v anglickom fore.vedel by si to dalej posunut autorovi?
Roman
Mal angenommen, du drückst Strg+F, wählst die FTP-Verbindung (mit gespeichertem Passwort), klickst aber nicht auf Verbinden, sondern fällst tot um.