Au Secours ! Bloquage Sur V

[Yves Louis]

Bonjour à tous,



Je suis extrêmement ennuyé :

J'ai à mon bureau un Synology DS1812+ sur lequel j'ai eu des crashs de disques durs il y a quelques semaines qui m'ont obligé à changer plusieurs disques et à lancer des reconstructions.
Une fois tout ça au propre j'ai eu quelques problème de permissions, et d'après l'assistance de Synology la partition système méritait d'être réinstallée, ce que je n'ai pas fait puisque je n'aivais plus aucun problème. Et tout s'est bien passé pendant presque deux mois.



Sauf qu’aujourd'hui j'ai mon DiskStation qui a coupé d'un coup toutes les connexions (20 personnes qui étaient entrain de travailler sur des volumes partagés...) et je me suis aperçu que la charge du processeur était à 99% et que l'accès était donc extrêmement ralenti.

Plus grave, en cherchant je me suis rendu compte que l'un des volumes RAID donnait comme espace utilisé : 16382,99 Po !!!! Et donc bien évidemment il m'annonce que le volume est occupé à 100%... Forcément, vu qu'il n'est normalement que de quelques centaines de Go... En plus de ça il essaye de faire une vérification de cohérence de la parité sur ce volume RAID et sur un second situé sur le même groupe de disque.

Donc voilà, j'ai bien essayé de stopper la vérification de cohérence avec la commande "echo idle > /sys/block/md2/md/sync_action", mais rien y fait, elle continue.
J'ai essayé aussi de redémarrer, mais là aussi sans succès puisque la galère reprend au démarrage.

Et enfin j'ai un processus "resize2fs" qui prend pas mal de ressources et qui tourne.

Voilà, j'ai vraiment besoin de récupérer un DiskStation qui tourne, car il y a beaucoup d'utilisateurs qui en ont besoin. Je touche du bois, mais j'ai toujours accès à mes données via l'interface web et le FileStation.

J'aimerais pouvoir stopper cette vérification, et forcer le système à revérifier la taille du volume en question.
Ou bien réinitialiser le système, mais je ne sais pas si dans cet état je ne devrais pas d'abord résoudre ce(s) problème(s).

Donc de l'aide serait la bienvenue !!



D'avance merci...


[gaetan.cambier]

Si il y a un resizequi tourne, c'est qu'il y a eu une augmentation de la taille demandée

Tu as bien réparer lorsque tu as fais le changement de disque ?

[Yves Louis]

D'abord merci de ta réponse.

Non je n'ai absolument pas demandé de resize de partition, d'ailleurs les deux volumes présents sur le groupe de disque utilisaient la totalité de l'espace, donc ça n'aurait servi à rien.

Et puis je ne m'étais pas connecté à l'interface depuis plusieurs jours, donc je ne sais pas ce qui a déclenché ce problème...

Voici une capture d'écran qui montre les volumes en question, avec le volume 2 qui affiche un espace de 16382,99 Péta Octets (!?), et les deux volumes qui montre la vérification de cohérence...

Une solution pour stopper la vérification et/ou le resize ? (Sans risque pour les données so possible...)

Merci

[gaetan.cambier]

Rentrer un ticket chez synology

[Yves Louis]

C'est déjà fait, malheureusement ils mettent en moyenne 3 jours (voir 4 la dernière fois) à répondre...

[EricMotordu]

Bonjour, si j'étais toi, je ferai par sécurité une copie des données (si rien d'autre ne fonctionne, en se connectant en ssh, rsync par exemple) ou au moins une vérification que le dernier backup est bien lisible. Tu peux avoir l'information de référence en tapant les commandes suivantes avec une connexion ssh (première taille des systèmes de fichiers en Ko, seconde état des stripe/RAID), ce sont des commandes qui ne font que lire, pas de danger df -m cat /proc/mdstat (publie sur le forum si tu veux qu'on regarde et te dise ce qu'on en pense) bonne journée, Eric

[Yves Louis]

Bonjour, voici le résultat de la commande cat /proc/mdstat :

Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] 
md3 : active raid1 sdg3[0] sdh3[1]
      2925544256 blocks super 1.2 [2/2] [UU]
      
md2 : active raid5 sda3[6] sdf3[7] sde3[11] sdd3[9] sdc3[8] sdb3[10]
      14627721280 blocks super 1.2 level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]
      [===>.................]  resync = 17.3% (506730756/2925544256) finish=4300.5min speed=9373K/sec
      
md1 : active raid1 sda2[0] sdb2[1] sdc2[6] sdd2[7] sde2[2] sdf2[3] sdg2[4] sdh2[5]
      2097088 blocks [8/8] [UUUUUUUU]
      
md0 : active raid1 sda1[1] sdb1[2] sdc1[3] sdd1[4] sde1[6] sdf1[5] sdg1[0] sdh1[7]
      2490176 blocks [8/8] [UUUUUUUU]

Le gros soucis c'est que le CPU est archi surchargé, j'ai une vingtaine de processus "resize2fs" qui tournent, et du coup le DiskStation devient inutilisable :

Il faudrait que je puisse stopper ou mettre en pause les processus resize2fs et la vérification de parité pour pouvoir utiliser le système, surtout que les données dont tous les utlisateurs ont besoin sont sur un autre volume qui n'a pas de problème, mais personne ne peut y accéder à cause de la surcharge...

[EricMotordu]

Bonjour,

je n'ai jamais eu ce problème avec plusieurs resize2fs. D'après le /proc/mdstat, tu as un volume de ~3To et un de ~14To, c'est ça?

Celui de 3To n'est plus en reconstruction/vérification, peut-être fini depuis ta première copie d'écran.

Si j'étais toi, je ferais

1. une sauvegarde

2. je ne rebooterais pas, le problème c'est qu'à cette vitesse, il y en a pour 3 x 24h pour la reconstruction du RAID5

(je ne tuerai pas les resize2fs, cela me paraît dangereux car cela modifie le système de fichier, pas trop sûr de ce qui se passe si cela est interrompu)

Est-ce que tu vois les volumes en faisant la commande df -h ?

si oui, tu peux accéder aux données depuis le terminal pour en faire une copie si tu n'as pas une sauvegarde récente.

Il semble que d'autres aient eu ce genre de problèmes (plusieurs resize2fs) http://forum.synology.com/enu/viewtopic.php?f=7&t=51801J'espère que les gens de Synology vont te répondre au plus vite.

Bonne journée, Eric

[Einsteinium]

J'ai déjà vue quelque part sur le forum un problème identique niveau taille de l'espace, de mémoire c'était un disque pourris... Regarde les valeurs smart de tes disques durs pour connaître le coupable... Et remplace le.

Maintenant je serais toi, je ferais une sauvegarde de toutes les données avant la moindre action sur ton nas, tu peux ensuite faire un partage temporaire via les autres de ta boîte, cela ne bloquera pas votre taf en attendant.

[Yves Louis]

Merci de ton aide,

J'ai donc 8 disques de 3To répartis comme suit :

Les disques 1 à 2 --> Le volume1 en RAID 1 de 3To

Les disques 3 à 8 --> Le groupe de volume 1 en RAID 5 de 15To avec les volume2 et volume3

Depuis l'interface DSM le volume3 apparait toujours en vérification de parité... Bizarre...

Je suis entrain de faire des copies des données sensibles vers le volume1 en RAID 1

Voici le résultat de la commande df -h :

Filesystem                Size      Used Available Use% Mounted on
/dev/md0                  2.3G    726.1M      1.5G  32% /
/tmp                      1.5G    752.0K      1.5G   0% /tmp
/run                      1.5G      4.1M      1.5G   0% /run
/dev/shm                  1.5G         0      1.5G   0% /dev/shm
/dev/mapper/vol3-origin
                          3.8T    547.7G      3.3T  14% /volume3
/dev/mapper/vol1-origin
                          2.7T      1.9T    752.4G  73% /volume1
/dev/mapper/vol2-origin
                          9.6T     16.0E      1.0P 2854190204% /volume2

[EricMotordu]

Re-bonjour, très bizarre le résultat de "df -h", peut-être est-ce normal durant un resize, il semble que d'autres ont eu ce genre de valeurs. je suis bien d'accord avec @Einsteinium, cela vaut la peine de vérifier l'état des disques (n'y a t'il pas eu par malchance un arrêt brutal du système?), dans tous les cas, je laisserai la reconstruction se finir (à moins que les gens du support Synology conseille autrement). bonne chance, Eric

[Yves Louis]

J'ai déjà vue quelque part sur le forum un problème identique niveau taille de l'espace, de mémoire c'était un disque pourris... Regarde les valeurs smart de tes disques durs pour connaître le coupable... Et remplace le.

Maintenant je serais toi, je ferais une sauvegarde de toutes les données avant la moindre action sur ton nas, tu peux ensuite faire un partage temporaire via les autres de ta boîte, cela ne bloquera pas votre taf en attendant.

Bonjour et merci,

Le problème c'est que je ne peux pas accéder au "Gestionnaire de Stockage" via DSM, ou du moins il mouline et fini par m'afficher des fenêtres vides... Mais du coup je ne peux pas récupérer les états SMART, à moins de pouvoir le faire en ligne de commande.

Les disques sont tous quasiment neufs, et ce sont des disques dits "entreprise" de chez Hitachi (je sais, il est toujours possible d'avoir une panne tout de même).

En fait ce que je voudrais c'est copier les données sensibles vers le volume1 qui a priori n'est pas concerné par le problème, et ensuite stopper les vérifications de parité et autre resize2fs, puis supprimer les volumes 2 et 3, supprimer le groupe de volume et tout reconstruire (sauf le volume1 en RAID 1).

Mais comment faire tout ça sans avoir accès au "Gestionnaire de Stockage" via DSM ?...

Merci

[EricMotordu]

Bonjour,

à mon avis, il y a des chances raisonnables que le processus de reconstruction se finisse, pourquoi tout détruire?

Pour avoir les valeurs SMART en ligne de commande:

smartctl -a /dev/sda

(remplacer sda par sdc, sud, sde pour toute la liste des disques)

Les valeurs SMART sont débattues, pour moi, ces valeurs sont intéressantes

Reallocated_Sector_Ct -> peut ne pas être 0 mais un signe que le disque a déplacé des blocks, il vieillit

Current_Pending_Sector -> current count of unstable sectors (waiting for remapping)

Offline_Uncorrectable -> number of sectors that the drive has attempted to correct itself, but failed

bonne journée, Eric

Modifié le 15 avril 2015 par ericgrancher

[Einsteinium]

Éric... Pourquoi laisser la vérification ce finir ? Avec une taille en Po.. Il y a clairement un problème sur le volume, il faut clairement le refaire, méthode la plus rapide pour un novice que de faire joujou avec des commandes. (J'entends par novice, concernant les commandes raid)

Si tu pense que tous les disques de ce volume sont OK après lecture smart, sort un disque pour éclater le raid, cela va coupe net la vérification, après supprime le volume, replace le hdd et refait ton volume.

Maintenant si ton autre volume est vraiment indépendant en disque du premier, alors oui sauvegarde sur celui ci plutôt qu'en externe, tu gagneras du temps.

[EricMotordu]

@Einsteinium, oui peut-être, moi j'avais espéré que cette information soit "juste" une mauvaise information durant le resize mais effectivement si le système est durablement affecté, alors il faudra recréer

[Yves Louis]

Merci messieurs,

Effectivement à partir du moment ou j'ai des valeurs farfelues, je me suis dit que la vérification ne servait à rien.

Et surtout je ne peux pas me permettre de bloquer l'accès au NAS pendant encore 3 jours minimum, et sans être sûr du résultat. Il y a presque 20 personnes qui se retrouvent partiellement bloquées pour travailler puisque sans accès à certaines données, il faut donc que j'aille vite, tout en prenant soin de ne pas perdre de données. Bonjour le stress !!

Autre problème, voici le resultat de la commande smartctl sur les disques Hitachi : (pas de support du SMART, ou pas activé ??, pourtant visible habituellement dans le Gestionnaire de Stockage)

smartctl 6.2 (build date Jan  7 2015) [x86_64-linux-3.2.40] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               HGST
Product:              HUS724030ALE640
Revision:             MJ8O
User Capacity:        3,000,592,982,016 bytes [3.00 TB]
Logical block size:   512 bytes
Physical block size:  4096 bytes
Lowest aligned LBA:   0
Logical block provisioning type unreported, LBPME=0, LBPRZ=0
Rotation Rate:        7200 rpm
Form Factor:          3.5 inches
Logical Unit id:      0x5000cca248ccdc16
Serial number:        PK2234P9GX8Z8Y
Device type:          disk
Local Time is:        Wed Apr 15 12:24:19 2015 CEST
SMART support is:     Unavailable - device lacks SMART capability.

=== START OF READ SMART DATA SECTION ===

Error Counter logging not supported


[GLTSD (Global Logging Target Save Disable) set. Enable Save with '-S on']
Device does not support Self Test logging

[Yves Louis]

C'est un enfer, je n'arrive pas à faire de copie, même en ligne de commande, ça prend un temps dingue du fait que le processeur soit saturé...

Il n'y a vraiment aucun moyen de stopper ces satanés "resize2fs" à la main, ainsi que la vérification de parité ??...

Sans avoir à débrancher un disque à la sauvage si possible ! ^^

Merci...

[Einsteinium]

Réduit la priorité proco au mini des resize, et donne le Max à ta copie.

[Yves Louis]

Réduit la priorité proco au mini des resize, et donne le Max à ta copie.

D'accord, mais, euh... Je fais ça comment ?

[gaetan.cambier]

Renice

[Einsteinium]

Merci gaetan =)

Yves Louis... Tu es l'informaticien de ta boîte ? Car c'est un peu la base :/

[Yves Louis]

Merci Gaetan, j'avais trouvé quelque instant plus tard. Je ne connaissais pas cette commande, du coup j'ai fait redescendre en priorité toutes les instances resize2fs, mais malgré tout, les écritures sont extrêmement lentes... Et le processeur continu a plafonner. Bref, par contre je me suis aperçu que le téléchargement depuis FileStation avait un débit "normal", du coup je suis entrain de télécharger les fichiers sensibles en vue de pouvoir ensuite stopper les processus de vérification de parité, et en espérant pouvoir enfin accéder au Gestionnaire de Stockage pour tout reformater.

Merci gaetan =)

Yves Louis... Tu es l'informaticien de ta boîte ? Car c'est un peu la base :/

Einsteinium = Je suis aussi informaticien que toi diplomate donc...

1° Je ne savais pas que la commande renice était dans le manuel de première année d'informatique... Je ne connais pas toutes les commandes !
2° Je ne savais pas qu'il fallait être informaticien pour se servir d'un NAS Synology

3° Si j'étais vraiment informaticien, j'aurais nettement moins besoin de votre aide...

Mais merci de ton intérêt

[Einsteinium]

1° ba comme je disais c'est la base...

2° effectivement, le dsm est justement là pour la simplification et surtout du gain de temps qu'on ne passe pas en ligne de commande.

3° pas forcément, chaque système a sa communauté.

Par contre si tu avais été vraiment informaticien... Tu aurais dû faire en sorte d'avoir de la redondance pour la continuité de ton taf. (Mini un backup..)

Si tu prends mal une simple phrase... la j'ai envie de dire débrouille toi ;-)