DS 1621+ : Migration ext4 vers btrfs sur RAID 5

[Sébastien Geoffroy]

Bonjour à tous,

J'ai un DS1621+ avec 32 Go de RAM (suite au crash de mon 1618+) avec 6 disques RED et un volume RAID5 / ext4 de 27 To.

J'ai besoin d'installer Virtual Machine (afin de monter des VM SQL server, Windows 2019 server, ...) pour des lab.

Seul hic c'est que c'est incompatible avec ext4.

Et docker, je pense, ne répond pas au besoin (on ne trouve pas tout..et c'est moins flexible qu'une VM).

 

2 choix s'offrent à moi:

- Tout réinstaller en btrfs, mais voila j'ai 21 To de données à transférer....compliqué (soit acheter 3 disque de 10 To (vla le prix) ou prendre un espace cloud de 22Go pour transférer mes données (150€ / mois) avec hyper backup + le temps...).  Auriez vous une autre astuce ?

- Soit trouver l'astuce afin qu'un disque dur USB/eSata soit vu comme volume interne

A ce titre j'ai tenté plusieurs tuto qui fonctionnaient sous DSM6/7 mais pas chez moi:

https://www.casler.org/wordpress/synology-ssd-cache-on-external-devices/

 

Toute aide ou conseil seraient les bienvenus, merci.

Modifié le 21 mars 2022 par Sébastien Geoffroy

[Sébastien Geoffroy]

C'est fou la limitation de Synology au btrfs  pour la virtualisation !!

Si on prend QNAP, on peut faire du VM sur de l'ext4....

Modifié le 20 mars 2022 par Sébastien Geoffroy

[maxou56]

Il y a 2 heures, Sébastien Geoffroy a dit :

Soit trouver l'astuce afin qu'un disque dur USB/eSata soit vu comme volume interne

Bonjour,

Avec les extensions, les disques sont vu comme en interne. le DS1621+ supporte 2 DX517, pour 16 disques au total, comme son nom l'indique.

https://www.synology.com/fr-fr/products/DX517

 

Il y a 2 heures, Sébastien Geoffroy a dit :

C'est fou la limitation de Synology au btrfs  pour la virtualisation !!

Il n'y a pas que la virtualisation, (cela concernait avant aussi DockerDSM, mais ce n'est plus d'actualité), cela concerne aussi certains paquets, fonctions comme active backup for business (sauvegarde de PC/serveurs/VM windows, Linux et récemment DSM), les snapshots, snapshot réplication...

https://www.synology.com/fr-fr/dsm/Btrfs

Après pourquoi le DS1618+ était en EXT4 (et RAID5, moins évolutif que le SHR)? Car il a toujours était compatible BTRFS et il y avait déjà la virtualisation.

Edit: C'est qu'il y a eu migration d'un DS412+ > DS1618+ > DS1621+? Si oui cette limitation était déjà connue, le paquet Virtual machine manager existait déjà.

https://www.synology.com/fr-fr/releaseNote/Virtualization?model=DS1618%2B#7_x_series

Citation

Version: 2.2.0-8460
(2017-11-20)
Compatibility and Installation
Virtual Machine Manager can only be installed on Synology NAS with 6.1.3 onward.
At least one Btrfs Volume is required to store virtual disks.

 

Il y a 2 heures, Sébastien Geoffroy a dit :

Auriez vous une autre astuce ?

Tu peux avoir plusieurs volumes sur un seul groupe de stockage (par exemple un en EXT4 et un en BTRFS), et donc si il reste de la place sur le groupe de stockage, créer un second volume en BTRFS.

Ou changer les disques par des plus gros mais comme tu es en RAID5, il faudra tous les changer, en SHR seulement 2 disques plus gros suffisaient. De plus si tu n'es pas en Volumes multiples (c'est par défaut avec les groupe de stockage créés avec DSM7 et +) en option avec DSM6 ou -, seul les SHR peuvent être modifier après la création (volume simple > volumes multiples)

https://kb.synology.com/fr-fr/DSM/help/DSM/StorageManager/storage_pool_to_multiple_volume_support?version=7

Bref RAID 5 + EXT4 tu es coincé ☹️, l'idéal c'est de repartir à zéro.

Modifié le 20 mars 2022 par maxou56

[Sébastien Geoffroy]

Merci pour ton retour:

Citation

Avec les extensions, les disques sont vu comme en interne. le DS1621+ supporte 2 DX517, pour 16 disques au total, comme son nom l'indique.

Franchement nul besoin ni l'envi d'investir dans une unité d'extension juste pour "mes VM" ... Le cout d'achat de cette unité + des disques c'est juste too much.
Surtout que pour 2 ou 3 VM, j'ai besoin de quoi... 500 Go, 1 To max  en btrfs ?

Citation

Après pourquoi le DS1618+ était en EXT4 (et RAID5, moins évolutif que le SHR)? Car il a toujours était compatible BTRFS et il y avait déjà la virtualisation.

Edit: C'est qu'il y a eu migration d'un DS412+ > DS1618+ > DS1621+? Si oui cette limitation était déjà connue, le paquet Virtual machine manager existait déjà.

C'est bien cela, en 2019 je suis passé d'un NAS 4 baies genre 912+ (je ne me souviens plus du modèle) vers un NAS 6 baies (1618+), j'ai donc remis les 4 disques + 2 nouveaux dans le NAS...D'ou la conservation en ext4.

Citation

Tu peux avoir plusieurs volumes sur un seul groupe de stockage (par exemple un en EXT4 et un en BTRFS), et donc si il reste de la place sur le groupe de stockage, créer un second volume en BTRFS.

Ou changer les disques par des plus gros mais comme tu es en RAID5, il faudra tous les changer, en SHR seulement 2 disques plus gros suffisaient. De plus si tu n'es pas en Volumes multiples (c'est par défaut avec les groupe de stockage créés avec DSM7 et +) en option avec DSM6 ou -, seul les SHR peuvent être modifier après la création (volume simple > volumes multiples)

https://kb.synology.com/fr-fr/DSM/help/DSM/StorageManager/storage_pool_to_multiple_volume_support?version=7

Bref RAID 5 + EXT4 tu es coincé , l'idéal c'est de repartir à zéro.

Le problème c'est que l'ensemble de mes 6 disques sont sur le volume1 (ext4).

Et je ne pense pas qu'on puisse réduire la taille do volume (27.1 To à  26 To). Et créer un autre volume BTRFS sur la base des 1 To récupérés (?)
Donc si je résume bien:

Solution 1 : changer tous les disques par des 8To et se servir du surplus pour créer un second volume: 6x240 € : 1440 € 

--> Mais dans ce cas, pourquoi ne pourrait on pas créer un second volume sur la base de celui existant (espace disponible)?

Solution2: Prendre pour 1 mois un espace Cloud (dans la liste proposée dans Hyper Backup) de 22 To (150 € / mois) et avec Hyper Backup, transférer toutes mes data sur ce cloud, supprimer et refaire mon volume RAID5 en BTRFS, réimporter mes données.

--> J'ai beau avoir une connexion fibre 1 gbps (800 mbps en down, 360 mbps en up), ca risque de prendre du temps...
Edit: avec un débit constant de 200 mbps, ca me ferait 10jours pour la sauvegarde et autant pour réimporter.

Je suis en bond1 IEEE 802.3ad (link aggregation) niveau réseau avec 2 câbles sur mon routeur Asus , qui lui même est connecté sur la box de mon FAI Orange.

IPERF3:

Connecting to host 192.168.1.10, port 5201
[  4] local 192.168.1.2 port 1586 connected to 192.168.1.10 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec  38.2 MBytes   321 Mbits/sec
[  4]   1.00-2.00   sec  46.2 MBytes   387 Mbits/sec
[  4]   2.00-3.00   sec  45.0 MBytes   377 Mbits/sec
[  4]   3.00-4.00   sec  42.5 MBytes   357 Mbits/sec
[  4]   4.00-5.00   sec  45.5 MBytes   381 Mbits/sec
[  4]   5.00-6.00   sec  46.1 MBytes   388 Mbits/sec
[  4]   6.00-7.00   sec  43.6 MBytes   365 Mbits/sec
[  4]   7.00-8.00   sec  41.8 MBytes   351 Mbits/sec
[  4]   8.00-9.00   sec  42.0 MBytes   352 Mbits/sec
[  4]   9.00-10.00  sec  41.8 MBytes   350 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec   433 MBytes   363 Mbits/sec                  sender
[  4]   0.00-10.00  sec   433 MBytes   363 Mbits/sec                  receiver

 

 

 

 

Modifié le 21 mars 2022 par Sébastien Geoffroy

[niklos0]

Solution supplémentaire, la meilleure à mes yeux :

Repartir de 0 avec 3 disques de 16 ou 18To :

https://www.reichelt.com/fr/en/16tb-seagate-exos-hard-drive-x16-st16000nm001g-p259911.html?&trstct=pol_0&nbc=1

https://www.reichelt.com/fr/en/18-tb-seagate-exos-x-x18-hard-drive-st18000nm000j-p293271.html?&trstct=pol_3&nbc=1

ça te coutera 900€, mais tu repars d'une base seine, évolutive, et, en plus, tu as de quoi garder sauvegarder le tout.

Modifié le 21 mars 2022 par niklos0

[Sébastien Geoffroy]

Pour le transfert Cloud: https://c2.synology.com/fr-fr/pricing/storage
€133.29 /mois (21To)

Après la variable c'est la bande passante des différents cloud...Un peut comme un VPN, il faudrait pas que ca soit du 10 mbps... Et ca aucun hébergeur ne donne l'info.

 

il y a 44 minutes, niklos0 a dit :

Solution supplémentaire, la meilleure à mes yeux :

Repartir de 0 avec 3 disques de 16 ou 18To :

https://www.reichelt.com/fr/en/16tb-seagate-exos-hard-drive-x16-st16000nm001g-p259911.html?&trstct=pol_0&nbc=1

https://www.reichelt.com/fr/en/18-tb-seagate-exos-x-x18-hard-drive-st18000nm000j-p293271.html?&trstct=pol_3&nbc=1

ça te coutera 900€, mais tu repars d'une base seine, évolutive, et, en plus, tu as de quoi garder sauvegarder le tout.

Merci mais:

1 - C'est trop cher

2 - A un moment donné il faut bien que je transfère mes données...

Edit:

Ca me ferait 5 jours pour mes 21 To pour l'envoi et 3-4 jours pour la récupération... jouable.

Et le cout serait de 133 € (1 mois de suscription) 

d'après https://speedtest.c2.synology.com/

 

Download

629

Mbps

 

Upload

462

Mbps

 

Modifié le 21 mars 2022 par Sébastien Geoffroy

[Sébastien Geoffroy]

J'ai 30 jours gratuit avec le cloud synology C2...

Je viens de lancer le backup mais: 

- Je plafonne à 30 MB / s contrairement au speedtest syno 😕

- J'ai 21 To de données à transférer donc 176 160 752 MB si mes calcules sont bon

- A raison de 30 MB/s cela donnerait: 2039 jours 😮

 

C'est quoi ce bordel ?? !!!

EDIT: J'ai ouvert un ticket d'assistance à Synology pour cela. Je ne comprends pas pourquoi le speedtest chez eux donne >300 mbps en up et down et que hyper backup plafonne à 30/40 mbps...

Modifié le 21 mars 2022 par Sébastien Geoffroy

[niklos0]

Eh beh décidément, c'est le jour du franglais aujourd'hui !

21To = 22 020 096 Mo

MB = Mo donc normalement, il te faut 734 003 secondes de transfert soit 204 heures. 8 jours et demi.

MB/s n'est pas égal à mbps.

1MB/s (dénomination anglo saxonne) = 1Mo/s (dénomination FR) = 8 mbps.

Il y a 1 heure, Sébastien Geoffroy a dit :

Download

629

Mbps

 

Upload

462

Mbps

il y a une heure, Sébastien Geoffroy a dit :

- Je plafonne à 30 MB / s contrairement au speedtest syno 😕

629Mbps = 78Mo/s

462Mbps = 57Mo/s

[Sébastien Geoffroy]

Shame on me, je me suis mélangé les pinceaux .... 

1 octet c’est 8 bits en français.
1 octet égal 1 Byte en anglais

Donc 

21 To = 21 TB

21 To est égal à 22 020 094,07 Mo ou MB

Donc l'upload des données dureraient 786 432 secondes (218 heures...donc 9 jours) sur la base d'un transfert moyen de 28 MB/s.

Soit 11% par jour... 0.46% par heure.

Donc sous 20 jours max, je devrais faire toute mon opération et ce gratuitement (car 30j de période d'essai gratuit sur le cloud Synology).

Plus tard, quand mes finances le permettront je remplacerais mes disque de 6 To par des 10To...Je peux en changer par exemple 1 tous les 3 mois...

Ps: c'est quand même pas violent le transfert chez Syno, ou alors mais je ne le pense pas, le facteur limitatif serait mes disques (?).

RAID5 avec des WD-60EFRX, ca doit dépoter en r/w ....

Ps: D'ailleurs au moment ou j'écrits je suis à 1% de transfert (tache lancée depuis 2h)

 

 

 

Modifié le 21 mars 2022 par Sébastien Geoffroy

[niklos0]

il y a 8 minutes, Sébastien Geoffroy a dit :

Ps: D'ailleurs au moment ou j'écrits je suis à 1% de transfert (tache lancée depuis 2h)

1% toutes les 2 heures => 200 heures en tout.

Ca colle avec ça :

il y a 9 minutes, Sébastien Geoffroy a dit :

Donc l'upload des données dureraient 786 432 secondes (218 heures...donc 9 jours) sur la base d'un transfert moyen de 28 MB/s.

et ça :

il y a 37 minutes, niklos0 a dit :

il te faut 734 003 secondes de transfert soit 204 heures. 8 jours et demi.

 

[Sébastien Geoffroy]

Merci à tous pour votre intervention !

Si d'autres personnes rencontrent la même problématique que moi, tout n'est pas perdu et c'est "gratuit".

 

Autre solution qui me vient à l'idée, renvoyer mon 1621+ (6baies) et prendre un 1821+ (8 baies) :

Je remets mes 6 disques dans le nouveau NAS : Volume 1 et je me sert des 2 autres disques pour créer un volume BTRFS

cout de l'opération 70 € + 2 disques de 2 To

Modifié le 21 mars 2022 par Sébastien Geoffroy

[Sébastien Geoffroy]

Astuce, pour vérifier vos débits vers le cloud C2 de synology:

 

1 - Se connecter en ssh (putty)

2 - Se mettre en root (sudo su - )

3 - Exécuter:

synogear install

4 - Exécuter:

Test upload:   iperf3 -c iperf.eu.c2.synology.com -t 30 -i 5 //test upload

Connecting to host iperf.eu.c2.synology.com, port 5201
[  4] local 192.168.1.10 port 33812 connected to 84.200.39.205 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-5.00   sec   314 MBytes   527 Mbits/sec   79   2.41 MBytes
[  4]   5.00-10.00  sec   359 MBytes   602 Mbits/sec    3   2.07 MBytes
[  4]  10.00-15.00  sec   360 MBytes   604 Mbits/sec    0   2.16 MBytes
[  4]  15.00-20.00  sec   359 MBytes   602 Mbits/sec    0   2.21 MBytes
[  4]  20.00-25.00  sec   358 MBytes   600 Mbits/sec    1   1.91 MBytes
[  4]  25.00-30.00  sec   360 MBytes   604 Mbits/sec    0   2.45 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-30.00  sec  2.06 GBytes   590 Mbits/sec   83             sender
[  4]   0.00-30.00  sec  2.06 GBytes   589 Mbits/sec                  receiver

iperf Done.
 

Test download:  iperf3 -c iperf.eu.c2.synology.com -R -t 30 -i 5 //test download

Connecting to host iperf.eu.c2.synology.com, port 5201
Reverse mode, remote host iperf.eu.c2.synology.com is sending
[  4] local 192.168.1.10 port 33860 connected to 84.200.39.205 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-5.00   sec   549 MBytes   921 Mbits/sec
[  4]   5.00-10.00  sec   554 MBytes   929 Mbits/sec
[  4]  10.00-15.00  sec   558 MBytes   936 Mbits/sec
[  4]  15.00-20.00  sec   561 MBytes   941 Mbits/sec
[  4]  20.00-25.00  sec   555 MBytes   931 Mbits/sec
[  4]  25.00-30.00  sec   561 MBytes   941 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-30.00  sec  3.27 GBytes   937 Mbits/sec   50             sender
[  4]   0.00-30.00  sec  3.26 GBytes   934 Mbits/sec                  receiver

iperf Done.
 

En résumé sur le Cloud EU, je suis à 

590 Mbits/sec en upload

934 Mbits/sec en download

 

Sur le Cloud US (ne me concerne pas), je suis à 

97 Mbits/sec en upload

113 Mbits/sec en download

Pourtant les transferts  (via hyper backup, vers le cloud C2 EU) sont bloqués à 30-40 MB/s

Modifié le 21 mars 2022 par Sébastien Geoffroy

[Sébastien Geoffroy]

Avec le support Synology, on est arrivé à gonflé le transfert à 40 Mo /s (ca reste 2x moins que le test iperf qui donnait 590 Mbits/s soit 73 Mo/s)

Par défaut Hyper Backup utilise 2 process pour téléverser vers C2.

On peut l'augmenter à 8 (nbre de thread CPU) + redémarrer le paquet "hyper backup"

 

Modifié le 21 mars 2022 par Sébastien Geoffroy

[Sébastien Geoffroy]

D'ailleurs j'en profiterais pour virer mon RAID5 et passer en SHR ...en même temps que passer en BTRFS.

SHR plus flexible et perf similaires (voir un poil mieux).

[Sébastien Geoffroy]

A J+2 pile, plus de 25% transférés sur le Cloud C2, sur mes 21 To de données. Good

 

 

 

Modifié le 23 mars 2022 par Sébastien Geoffroy