Migration vers SHR 1

[pillo]

Bonjour

Je possède un DS 718+ avec une extension DX 517 soit 7 disques au total dans 7 groupes de stockage différents.

Ce Nas me sert uniquement a dématérialiser mes Blu-ray et je me disais qu'il n'était pas utile dans une tolérance de panne mais le nombre de fichier augmentant (environ 650) je commence à penser le contraire et souhaiterais passer sur du SHR 1.

Y as t'il une solution pour effectuer cette migration en douceur sans forcement repartir de zéro ce qui serait difficile en terme de stockage provisoire...

Je met une capture d'écran de ma config actuelle

Merci de l'aide que vous pourrez m'apporter

Pillo

[pillo]

Bonjour

Merci Bliz pour ton retour mais du coup ca m'arrange pas vraiment 😃

Idée farfelue mais si je prend 2 disques vierges et que je refait une installation propre en SHR 1 a partir de ces 2 disques sur le DS 718 comment lire le contenu des 5 autres disques de l'extension et le copier sur les 2 nouveaux et a mesure des copies, formater et intégrer les anciens disques a la nouvelle installation en SHR 1 ?

Je sais pas si c'est très clair

 

Pillo

[pillo]

Bonjour

Il s'agit du même Nas en fait j'ai un 718+ avec 2 baies et une extension DX517 comprenant 5 disques

Pillo

[Mic13710]

Ca va être très compliqué de construire un SHR avec des disques de tailles différentes car l'ordre de construction a son importance. Vous ne pouvez pas rajouter à un SHR existant un disque plus petit que le plus petit disque avec lequel il a été construit.

En clair, si vous créez votre SHR avec des disques de 8To, vous ne pourrez pas y rajouter des disques plus petits que 8To. Ce qui veut dire que si dans votre NAS actuel vous avez des disques de 2To, il faudra commencer votre SHR avec au moins un disque de 2To puis augmenter progressivement la taille des disques que vous rajoutez. Attention toutefois, pour que toutes les capacités puissent être exploitées, il faut au moins 2 disques de même capacité dans la grappe. Par exemple, si vous n'avez qu'un seul disque de 6To dans la grappe coincé entre des disques de 4To et de 8To, seuls 4To seront utilisés sur ce disque, les 2To restants n'étant pas exploitables. Il faudra attendre l'ajout d'un autre 6To pour que cette espace puisse être exploité.

Il est sans doute possible de faire la mutation si vous avez un autre 718, mais l'opération risque d'être très complexe voire impossible compte tenu des différences de capacités de vos disques et du remplissage actuel de vos volumes. Je pense qu'il serait préférable de repartir sur des disques de plus grosse capacité pour pouvoir espérer migrer vos données, ce qui veut dire que vos disques actuels ne pourraient plus être utilisés, à moins de remonter un deuxième groupe dans l'extension avec ces derniers plutôt que d'étendre le groupe de l'unité principale, ce que je ne saurais trop vous conseiller. En effet, je ne suis pas très favorable à des groupes répartis sur des unités physiques différentes du fait des risques inhérents aux potentiels déconnexions qui peuvent conduire à une perte partielle ou totale des données.

A vous de voir comment combiner ces informations pour effectuer au mieux votre migration.

[pillo]

Bonjour

Merci @Mic13710pour ce retour très instructif.

Actuellement j'ai 3 disque en 10 to 2 en 5 to et les 2 derniers en 2 to.

Je ne vais conserver et acheter par la suite que du 10 to ou plus. C'est pour ca que j'envisageais d'acheter directement 2 nouveaux disque en 10 to et faire une install neuve en SHR1 sur c'est 2 nouveaux disque.

Ce que je ne maitrise pas c'est comment récupérer les données des disques existants sauf à avoir un autre nas.

C'est la ou je sèche

 

Pillo

 

 

[Mic13710]

il y a 12 minutes, pillo a dit :

sauf à avoir un autre nas.

J'ai cru comprendre que vous aviez un autre 718 ! Si ce n'est pas le cas, la méthode que j'ai proposée n'est pas valable et il faudra composer différemment en utilisant un ou plusieurs disques externes pour vider les deux volumes existants sur le 718.

Le problème c'est que votre groupe 1 qui contient les applications est en basic. Il ne peut évoluer que vers du RAID classique.

Je vous propose alors de migrer vos données et vos applications du disque 1 vers un disque externe en utilisant Hyperbackup. Vous pouvez pour cela utiliser un de vos 10To.

Vous remplacez le disque 1 par un 10To. DSM va se réinstaller automatiquement à partir des autres disques. Vous construisez dessus un nouveau groupe en SHR sans protection des données sur lequel vous restaurez vos sauvegardes hyperbackup. Vous déplacez ensuite les dossiers partagés du disque 2 du NAS (qui devrait en toute logique être le volume 2) vers le disque 1. Vous remplacez le disque 2 par l'autre 10To et vous l'associez au disque 1 pour agrandir le groupe et former un SHR avec protection des données. Vous pourrez par la suite faire de même avec l'extension en migrant les volumes vers le volume du NAS et en remplaçant progressivement les disques par des 10To que vous associerez au groupe du NAS (bien que comme je l'ai écrit je ne sois pas favorable aux groupes répartis sur des unités physiques différentes).

Pour la migration des données, il y a la kb Synology :

https://kb.synology.com/fr-fr/DSM/tutorial/How_to_migrate_between_Synology_NAS_DSM_6_0_Hyper_Backup

 

[Mic13710]

il y a 56 minutes, bliz a dit :

on peut utiliser dsfile, pour cela

Vous voulez dire file station je suppose.

Cette option de transfert via file station n'est pas applicable car de ce que j'ai compris il n'y a qu'un NAS et son extension.

Et puis cette méthode a ses limites, puisqu'on perd les time code des fichiers ainsi que les paramètres de DSM et des applications. Hyperbackup est certes plus long à finaliser car il oblige à faire l'opération en deux étapes mais plus adapté car il permet de restituer à l'identique les données et paramétrages des applications.

[Mic13710]

Il y a 2 heures, bliz a dit :

il suffit de faire un transfert d'un répertoire à un autre

Euh, là je ne suis pas d'accord. Le déplacement des dossiers partagés dans le même NAS et son extension se fait directement à partir du menu des dossiers partagés. Il suffit de changer le volume de destination et DSM se charge tout seul des transferts du volume source vers le volume destination sans perdre les liens avec les applications.

[pillo]

Bonjour @bliz et @Mic13710

Merci pour ces échanges qui me permettent effectivement de mieux cerner les possibilités qui s'offrent à moi.

Effectivement en ce moment tout mes disques sont grosso/modo à 80% mais seulement 3 sur les 7 sont des 10 to donc je peux/vais augmenter la capacité prochainement et c'est à cette occasion que je souhaitais un peu plus de stabilité et de tolérance de panne.

je n'avais pris en compte par contre qu'il était déconseillé de faire un même groupe sur 2 entités physique différentes ce qui là effectivement pose un réel problème car selon vous il faudrait donc que je crée 2 groupes distincts donc, cela ajoutant encore à la complexité de la migration.

La bonne nouvelle c'est que les volumes 1 et 2 sont des disques de petite capacité respectivement 2 et 5 to.

J'ai bien un autre nas qui pourrait servir à la sauvegarde hyper backup provisoire mais de capacité restreinte (2 x 4 to en SHR1) plein à 75 % ou se trouve toutes mes photos musique et documents importants avec sauvegarde externe mais qui rame un peu (RS214)

Concernant les dossiers partagés, actuellement il sont disséminé sur tout les disques du nas au gré de leur capacité et avec plusieurs dossiers vidéos forcement...

Merci

Pillo

[white.spirit]

Bonjour Pillo,

Suivant le lien de Bliz vers le comparateur de RAID, tu verras que tous tes disques te donnent droit à "36To" utiles, qui seront en fait environ 31To dans DSM (de la même manière que les disques 10To affichent 8.7To). Assure-toi que c'est suffisant que tu as de la marge, sinon il serait sensé de changé un petit disque par un plus gros. Avec les disques dans le NAS, tu peux toute les migrations vers un SHR unique si tu n'as pas plus de 20-22To de données (dans la procédure que je décris ensuite - la plus simple à mon avis - arrive un moment où 2 disques 10To ne peuvent pas recevoir de données: un qui sert de "protection" dans le volume SHR, et l'autre qui sera le 10To suivant à intégrer au groupe de disques). Il faudra sinon que tu stockes des données ailleurs (disque externe...) ou que d'emblée tu investisses dans le remplacement d'un 2To par un plus gros: attention de choisir judicieusement pour ne pas avoir de capacité gâchée (faire des simulations avec https://www.synology.com/fr-fr/support/RAID_calculator) et toujours se rappeler la règle énoncée par Mic13710: 

Il y a 9 heures, Mic13710 a dit :

Vous ne pouvez pas rajouter à un SHR existant un disque plus petit que le plus petit disque avec lequel il a été construit.

La procédure me semble déjà assez laborieuse vu le nombre de disques; il faut éventuellement t'attendre à devoir réinstaller et reconfigurer les paquets (applications). Un peu dans l'idée de Mic13710, tu pourrais sauvegarder les applications avec leur configuration, et les restaurer ensuite. Mais si tu n'as pas de choses trop complexes/pointues, il peut être aussi simple de les réinstaller de zéro.

Si on se concentre sur les données elles-mêmes, tu auras recours à 2 actions:
- savoir déplacer un dossier partagé d'un volume à un autre (Panneau de configuration > Dossier partagé > Modifier > Emplacement)
- savoir déplacer des données d'un dossier à un autre (c'est classique, via File Station par exemple)
Avec ça, tu pourras "libérer" tes disques pour les ajouter un par un dans ton nouveau volume SHR multi-disques

Comme évoqué avant, tu dois construire ton SHR en partant du plus petit disque 2To et faire les ajouts jusqu'au dernier 10To.
- si tu as déjà un 2To en SHR (Sans protection des données), pas besoin de le toucher: c'est ton point de départ;
- si les 2To sont tous en basic, il faut pousser les données du 1er disque ailleurs, pour supprimer le volume qui est dessus et en créer un nouveau qui soit SHR (il apparaîtra au début "sans protection des données): ce sera ton point de départ.

Tu peux remplir déjà ce volume de départ. Il faut ensuite vider le disque suivant sur la liste, supprimer le volume/groupe de stockage correspondant. Tu peux alors l'ajouter au groupe qui sert de départ. Un par un, tu vas pouvoir ajouter tes disques dans le même groupe (en utilisant les 2 actions de transfert de données que j'évoque au-dessus).

Je crois que cette méthode est cohérente dans ton cas.

il y a 10 minutes, pillo a dit :

il faudrait donc que je crée 2 groupes distincts donc, cela ajoutant encore à la complexité de la migration.

...et tu "perds" la capacité de 2 disques pour la protection. A moins que tu fasses 1 groupe "avec protection" sur le DX517, et 2 groupes "sans protection" sur le DS718... Ce que j'ai décris le permettrait, mais suivant comment sont installés les disques, il faudrait éventuellement déplacer des disque d'un appareil à l'autre (c'est la complexité supplémentaire).

il y a 17 minutes, pillo a dit :

La bonne nouvelle c'est que les volumes 1 et 2 sont des disques de petite capacité respectivement 2 et 5 to.

Apparemment tu n'aurais pas à échanger des disques; le nouveau gros disque prendra la place d'un petit dans l'extension, et voilà.

[pillo]

Bonjour @bliz @Mic13710 @white.spirit

Je commence à mieux cerner les possibilités qui s'offrent à moi mais clairement le fait de ne pas pouvoir faire un 1 seul volume sur les 7 disques est très pénalisant en SHR car je perd quoiqu' il arrive la moitié de la capacité du 718+ et 1/5 de celle de l'extension (avec 5 disques de même capacité).

Pour @bliz l'achat du 718+ et de l'extension s'est fait à un an d'intervalle mais si c'était à refaire je ferais certainement différemment tu as raison. Apres il y aune solution avec un 1522+ seulement 5 baies mais plus accessible financièrement et auquel je peux ajouter mon extension et la ca fait 2 volumes de 5 disques et de qui voir venir mais bon il faut ajouter 2 hdd de 10 to et on est tout de suite à 1300 € 😭

Pillo

[Mic13710]

Il n'est pas interdit de monter un groupe sur le NAS et l'extension puisque c'est ce pour quoi cette dernière est conçue. Et le 718 est bien prévu pour ce type de montage.

Néanmoins, les risques de perte de groupe sont beaucoup plus importants car si la liaison sata ou l'alimentation de l'extension sont interrompus, le groupe est cassé et il n'est pas garanti qu'il soit rétabli au redémarrage de l'unité du fait des possibilités de corruption des données. C'est à vous de considérer si vous acceptez ce risque, ou pas. Maintenant, il est possible que Synology aient prévu des sécurités pour pallier ces cas de figures, mais ça, seuls Synology sont capables de vous répondre. Le mieux serait de leur poser directement la question.

Sinon, vous pouvez monter deux disques en basic ou SHR sans protection des données sur le 718 (comme ce que vous avez en ce moment), et un SHR de 5 disques sur l'extension.

[pillo]

Bonjour @Mic13710

Je vais voir du cote de Synology ce qu'il en est, mais j'imagine que si vous ou d'autres le déconseillent, il doit y avoir un fond de vérité au départ.

Apres le fait d'avoir plusieurs groupes oblige a avoir plusieurs dossier vidéo, ce qui est mon cas actuellement et c'est loin d'être idéal en terme d'ergonomie.

Question subsidiaire, en SHR1 si on perd 1 disque on réussi a reconstituer le raid mais si c'est 2 disques en même temps on perd tout ? ou les pertes sont-elles "limitées" ?

Car la actuellement sans protection de données je ne perd que ce qui est sur le disque qui est HS non et c'est ce qui a fait que je ne suis pas parti sur du JBOD.

Merci

[Mic13710]

Il y a 5 heures, bliz a dit :

les données du disque hs sont perdues définitivement,

Ca c'est sûr,

Il y a 5 heures, bliz a dit :

le reste des données, je pense que le logiciel testdisk pourrait peut être récupérer les infos de chaque disques, jamais essayé le jbod, donc à vérifié.

Extrêmement compliqué, surtout si c'est le disque qui comporte la table d'allocation qui est vérolé. Et même si ce n'est pas celui-ci, la table a pris un sérieux pet dans le casque et ne sera pas capable de retrouver ses petits. Il y a aussi la fragmentation des données qui peut se faire sur les différents disques, et selon le taux de remplissage, cette fragmentation peut être importante, ce qui augmente de facto les risques de pertes collatérales de données. D'où une possibilité extrêmement limitée de pouvoir récupérer des données exploitables.

De plus, JBOD et RAID0 ne sont pas extensibles. Ils sont construits au départ et ne peuvent pas évoluer. Pour qui souhaite un peu sécuriser ses données, c'est le pire des mode de stockage. A réserver uniquement pour ceux qui recherche la vitesse plutôt que la sécurité, avec le RAID0 en tête en ce qui concerne la vélocité. Y'a intérêt a avoir des sauvegardes bien gérées (et le coeur bien accroché) pour utiliser ces types de stockages.

[pillo]

Bonjour

Après avoir bien analyser les possibilités qui s'offraient à moi grâce à tous vos conseils @Mic13710 @bliz @white.spirit, je me lance ce matin dans la modification de mon Nas pour aller vers quelque chose de plus sécurisé ou du moins ayant une tolérance de panne minimale.

Pour rappel je possède un DS718+ à 2 baies et une unité d'extension à 5 baies.

J'ai donc choisi la solution de @Mic13710 à savoir créer 2 groupes de stockage distincts, un sur le Nas et un sur l'extension.

Pour éviter les sauvegardes interminables sur disque externe USB vu que mes disques étaient tous pleins j'ai acheté 2 nouveau HDD respectivement en 8 et 10 TO.

Pour le 718 je vais remplacer le disque 1 qui était en basic et ne faisait que 1 TO (et pas 2 comme je le croyais) par le disque de 8 TO.

Auparavant j'ai déplacé les dossiers partagés sur d'autres disques ou il y avait de la place pour ne laisser que le minimum sur le disque 1 (env 40 GO), puis  fait une sauvegarde de ce qu'il restait via Hyperbackup.

 

Pour l'extension j'ai déjà 3 disques en 10 TO un en 6 TO et le dernier en 4TO. C'est ce dernier que j'ai viré après avoir déplacé les dossiers qui s'y trouvaient.

Je l'ai remplacé par le disque en 10 TO neuf et actuellement je suis en train de créer une extension du groupe de stockage sur lequel se trouve mon disque en 6 TO et par la même, passer sur un SHR 1 (je devais commencer par le plus petit de la grappe il me semble, ce qui est un peu pénalisant au début).

Je vais ensuite déplacer les données présentes sur un premier disque en 10 TO puis le "supprimer" et l'intégrer au groupe de stockage SHR1 nouvellement crée.

Pour le moment et faute de second disque en 8 TO, le groupe de stockage du 718 restera lui sans protection de données (le second disque présent étant un 6 TO j'aurais été trop pénalisé si j'avais crée un SHR 1 en 6 TO du moins pour la période de vidage de mes disques excitants

 

Pillo

[pillo]

Bonjour

Toujours en pleine construction de mon raid SHR1, je m'aperçois que le 6 TO que j'ai souhaité garder provisoirement pour compléter les 4 disque de 10 TO tourne seulement à 5400 tr alors que les 4 autres sont donnés pour 7200 tr.

Est-ce que ca peut être un problème et dois-je le remplacer plus rapidement que prévu ?

Merci

Pillo

[Mic13710]

Il n'y a pas d'interdiction. La seule contrainte hormis l'incompatibilité des disques avec le NAS (ce qui inclue les disques en techno SMR) est leurs capacités.

Cependant, il est préférable de marier des disques aux caractéristiques similaires pour éviter de trop grandes disparités dans le traitement des données qui pourraient provoquer des time-out et conduire au retrait du disque fautif hors de la grappe. Mais ce phénomène est très rare et si votre 6To est OK, il y a peu de chance qu'il se produise.

Vous pouvez continuer à utiliser votre 6To. Il faudra bien choisir un 7200tr pour le remplacer le moment venu.

[pillo]

Merci @Mic13710 me voila rassuré 👍

[pillo]

Bonjour

Juste un petit mot pour vous remercier, grâce a vos conseils ma migration s'est déroulée sans problème et sans pertes surtout

Petite question , est-il possible de renommer les groupes de stockage car actuellement j'ai 1 , 2 et 6  ce qui est assez bizarre. 

Merci

Pillo

[Mic13710]

Non, pas possible ou du moins pas sans risque et seulement en lignes de commande. Si vous avez un groupe 6, c'est que vous aviez un groupe 5 encore actif au moment de vos reconstructions. Hormis la perturbation visuelle tout à fait compréhensible, il n'y a rien de gênant en soit puisque ça n'a aucune influence sur l'utilisation de votre stockage.

[pillo]

Bonjour a tous

Je viens de remplacer le disque de 6 TO par un de 14 TO mais je n'arrive pas à récupérer l'espace supplémentaire généré. Il en faut absolument un second ? Je pensais qu'a minima je récupèrerai 4 TO comme si tout les disques faisaient 10 TO .

Merci

[oracle7]

@pillo

Bonjour,

Regardes avec le comparateur de raid Synology ici l'effet sur les espacess disque disponibles selon la taille des disques mis en place sur du raid SHR.

Cordialement

oracle7😉

[Mic13710]

@pillo La capacité disponible correspond à vos 4To. Vous devriez avoir un menu accessible pour étendre le groupe.

[pillo]

Bonjour

@oracle7 justement d'après le lien je devrait avoir 40 to dispo 10 to d' espace protection et 4 to libre car je n'ai qu'un seul 14 to 😐

@Mic13710 j'ai cherché dans tout les menus du groupe de stockage ou des volumes je ne trouve rien pour étendre la capacité

Pillo

Je viens trouver, il faut aller dans volume / action / configurer... et là on retrouve l'espace libre disponible 😭.

Je me demande comment j'ai fait pour passer à coté autant de fois parce que je vous promet que j'ai cherché

Merci pour votre aide.

Pillo

Modifié le 4 février 2023 par pillo
Eureka