Fiabilité de l'intégrité des données

[Didier_00]

Bonjour,

Je ne veux pas parler directement de fiabilité de l'application hyper backup, mais de doutes sur la fiabilité des systèmes de fichiers.

Je vous explique mon cas:

Je possède un DS216j (Raid 1) DSM6.2.2 avec un disque dur externe (USB) qui me sert de backup.
Ce disque dur à la particularité de se 'réveiller' automatiquement lorsque le NAS démarre.
J'ai programmé une fois pas semaine un arrêt suivit d'un démarrage du NAS, ce qui fait que le disque USB boot également, je fait mon backup (5 rotations) avec hyper backup et je démonte le disque dur automatiquement à la fin du backup. Cette façon de faire devrait me mettre à l’abri des virus crypteur et épargne la vie de mon disque. Très fière de moi mais....

Il y a un mois, mon NAS me signal un problème sur un disque. Pas de problème signalé par S.M.A.R.T. aux tests cours ou long, mais dans le doute je change le disque.
Pas de problème, tout se passe comme on aimerait que cela se passe.

Le disque 'défectueux' semble bon, je le recycle sous W7: Formattage  NTFS, écriture de fichiers (plus de 2873 fichiers), utilisation.
Soudain un fichier corrompu. Je fais une copie sur un autre disque d'urgence, quelques fichiers ont de la peine à passer mais passent, 3 fichiers perdus... 2608 fichiers copiés!!!

Ou sont passés mes 2873 fichiers? Dans le doute, je refais une liste des fichiers et je trouve 2502 fichiers et ce nombre continue de descendre sans qu'un problème soit signalé... (mon disque se meurt et les protections du système de fichier ne peut plus rien)

Je me rends compte qu'il est possible que des fichiers disparaissent (je croyais que l'index était dupliqué sur les disques) et je perds confiance.... car les conséquences que j'imagine:
- Mes backups avec hyper backup peuvent effacer des fichiers importants, car disparu depuis plusieurs rotations. Je peux certainement verrouiller ces fichiers mais la disparition des fichiers est également possible sur mon backup. Je me dis que le RAID1 peut me sauver mais:
- Si par exemple le disque 1 est corrompu (mais jamais signlé car les fichiers endommagés n'ont jamais été relu) et que l'autre lâche il y a des chances pour que je me retrouve à reconstruire un RAID avec le disque 1 et des fichiers en moins....

Est-ce qu'il y a quelqu'un qui a vécu cela est dans ce cas quel solution avez-vous appliqué?

 

Cordialement,

Didier

 

[maxou56]

Il y a 3 heures, Didier_00 a dit :

J'ai programmé une fois pas semaine un arrêt suivit d'un démarrage du NAS

Bonjour,

Pourquoi redémarrer le NAS une fois par semaine?

(DSM est basé sur Debian (Linux), il n'a pas besoin d'être redémarrer régulièrement, dans mon cas redémarrage à cause des mises à jour et 1 à 2 fois par an un nettoyage du NAS)

 

Les fichiers "disparus/corrompus" sont sur le NAS, sur la sauvegarde, sur le "disque recyclé"?

 

Hyper Backup fait des sauvegardes avec des versions

(par ex: Deux fichiers A et B et 1 sauvegarde par jour, avec une rotation de 10 version. Si on supprime le fichier B, les nouvelles sauvegarde ne contiennent plus B, mais celui reste dans les versions précédentes jusqu'a la rotation de celles-ci, donc dans cette exemple 10 jour)

[Didier_00]

Bonjour,

Je stop/redémarre le NAS, car mon disque dur externe sort de sa veille de cette façon. Après chaque backup, HyperBackup éjecte mon disque externe qui se met en veille et stop sa rotation. Il est donc protégé de l'usure, des petits chocs et des virus entre deux backup...

Les fichiers corrompus sont sur le disque recyclé. Mais cela n'est pas grave dans mon cas, les fichiers ne sont pas important. Ce qui me dérange c'est de savoir qu'un disque dur peut perdre des fichiers sans qu'aucune alerte ne soit émise... et donc disparaitre de mes backups.

 

 

[maxou56]

il y a 16 minutes, Didier_00 a dit :

Ce qui me dérange c'est de savoir qu'un disque dur peut perdre des fichiers sans qu'aucune alerte ne soit émise... et donc disparaitre de mes backups.

Pour HyperBackup il y a "Vérification de l'intégrité de la sauvegarde"

Pour le système de fichier Btrfs https://www.synology.com/fr-fr/dsm/Btrfs

Sur le NAS "extrait de l'aide Synology: Effectuer le nettoyage de données
Le nettoyage des données est un paramètre de maintenance des données qui inspecte les groupes de stockage. Les deux types suivants de nettoyage de données sont effectués de manière séquentielle :
- Nettoyage du système de fichiers : cette fonction vérifie les volumes du système de fichiers Btrfs. Si des données sont incohérentes par rapport à la somme de contrôle détectée, le système essaie d'utiliser une sauvegarde pour réparer les données et le chemin du fichier est enregistré dans le Log Center.
- Nettoyage du RAID : cette fonction peut être utilisée avec les groupes de stockage qui implémentent SHR (comportant trois disques ou plus), RAID 5 ou RAID 6. Elle peut réparer toute incohérence de données détectée.
Nous recommandons d'effectuer régulièrement le nettoyage des données afin d'assurer la cohérence des données et d'éviter de perdre des données en cas de panne de disque."

...

Ensuite sur le NAS il y eu une alerte, le disque a été marqué "en panne"

[Didier_00]

Pour HyperBackup je fais régulièrement une vérification de la sauvegarde.

Pour mon RAID1 j'avais vu sur un forum qu'il était conseillé de vérifier également sa validité. J'ai cherché comment faire et je n'ai pas trouvé.

Grâce à votre message, je viens de comprendre pourquoi: je suis en ext4, et si j'ai bien compris seul Btrfs permet cette manipulation.
Il est trop tard pour moi, car semble-t-il je ne peux pas passer d'un système à l'autre sans tout refaire. Je juge cela plus dangereux pour mes données que de rester en ext4... sans compter que je n'ai pas le matériel nécessaire pour le stockage temporaire.

Ma stratégie de backup était: Faire confiance au RAID1, faire un backup par semaine et 1 fois par année refaire un backup complet en écrasant l'ancien.
Je me rends compte de ses limites maintenant que je sais qu'un disque peut perdre des fichiers.... silencieusement.

 

Merci pour vos réponses

[Einsteinium]

Un raid dans le synology ne perd pas ses fichiers par magie... maintenant tu parles de disque sortie du synology... donc bon je vois pas le rapport avec hyperbackup ?

Maintenant on le dit et répète assez, le raid c’est de la continuité de service, pas du backup...

[Didier_00]

Bonjour,

Le rapport avec HyperBackup c'est que j'espérais que quelqu'un ait été confronté au même problème que moi et qu'il ait une solution dans les paramètres pour assurer malgré tout la pérennité de mes fichiers après une rotation complète.

Vous avez écrit: 'Un raid dans le synology ne perd pas ses fichiers par magie'. C'est ce que je pensais, mais si j'ai bien compris en ext4 je ne peux pas m'assurer de l'intégrité de mon RAID1, donc je ne suis pas à l'abri de reconstruire un jour un RAID avec un disque corrompu avec par exemple le scénario suivant::

1 étape) Tout fonctionne pour moi:
-Disque 1 de mon RAID1 avec des secteurs défectueux que j'ignore (car jamais eu besoin de relire les fichiers)
-Disque 2 de mon RAID1 sain
2 ème étape) Le disque 2 tombe en panne
-Disque 1 de mon RAID1 avec des secteurs défectueux que j'ignore (car jamais eu besoin de relire les fichiers)
-Disque 2 de mon RAID1 carte électronique défectueuse, passe en mode dégradé
3 ème étape) Reconstruction du RAID1
-Disque 1 de mon RAID1 avec des secteurs défectueux que j'ignore (car jamais eu besoin de relire les fichiers)
-Disque 2 de mon RAID1 neuf, réparation du RAID1
4 ème étape) tout fonctionne pour moi:
-Disque 1 de mon RAID1 avec des secteurs défectueux que j'ignore (car jamais eu besoin de relire les fichiers)
-Disque 2 de mon RAID1 sain

MAIS je n'ai plus la totalité de mes fichiers à mon insu...

Cordialement,
Didier

 

[Varx]

Bonjour @Didier_00

Si je comprend bien, ton souhait serait qu'en cas de problème (au sens large) sur un HDD qu'un processus t'assure de l'intégrité de tes données ? mais il faudrait aussi un processus qui vérifierait, la vérification, faite par le processus et ainsi de suite (le truc sans fin).

• Les tests S.M.AR.T. (long, cours) test l'état de santé du HDD. => Cela tu le sais déjà car tu le mentionnes plus haut.
  • Ils remontent les éventuelles anomalies.
    • Après vient la partie compréhension des résultats
    • Avec "l'expérience / les connaissances" tu peux déceler un état anormal du disque alors que le système le considère comme "sain".
      • Exemple un HDD qui gratte ou produit un bruit étrange.

Vient la question "pourquoi le processus ne signale pas d'anomalie, alors que je remarque un état/résultat anormale dans certains cas ?".

• Si l'informatique était fiable à 100% cela se saurait et remettrait en cause les solutions suivantes :
  • Les test S.M.A.R.T, Les sauvegardes ((sur disques, sur bandes, dans le cloud).Les RAID. Les VM  etc...

Car il ne faut pas se mentir si les solutions citées ci-dessus existent et bien c'est pour pallier les faiblesses du système, du hardware, des applis et de l'homme/femme...

[Didier_00]

Bonjour Varx,

Je comprends bien que la sécurité 100% n'existe pas. Je suis juste surpris de découvrir des pertes de données silencieuses, et qu'on n'en entende pas plus parler (sans jeu de mots).

J'ai une dernière question, ensuite je pense qu'il n'y a rien à dire de plus:

Je suis en ext4, je n'ai donc pas à disposition d'outils me permettant de vérifier mes données Btrfs. Je cherche une solution et je pense à S.M.A.R.T. test long.
Pour découvrir des secteurs défectueux, je pense que le disque n'a d'autre choix que de faire une lecture de tout les secteurs, et de vérifier la cohérance (ECC, CRC, ...).
Est-ce que c'est ce que fait le  S.M.A.R.T. test long? Sinon un outils permet-il de le faire sur mon Synology sans passer par Linux (Je connais ce système, mais j'aimerais utiliser des packets 'standard' de DSM). J'ai cherché mais rien trouvé!

Merci pour le temps passer sur vos réponses à maxou56, Einsteinium et Varx

 

 

[pluton212+]

Bonjour,

j'espère que vous êtes équipé d'un onduleur pour protéger votre nas:

en cas de coupure électrique la perte de données serait une catastrophe pour votre raid1.