Snashot Replication VS Hyper Backup

[ComboDrums]

Bonjour,

Jusqu'à maintenant, j'utilise Hyper Backup sur mon NAS pro pour sauvegarder ses données.

Il est formaté en BRTFS et une des fonctions de ce système de données est la possibilité de réaliser des instantanées ce qui économise l'espace disque des sauvegardes n'est-ce pas ?

Du coup ce genre de backup semble plus avantageux qu'un système de backup incrémental à la Hyper Backup si je comprends bien.

Quelqu'un connait tous les avantages / inconvénients de ce soft et pourrait les détailler ?

Merci.

[ComboDrums]

Je viens de lire la doc ici et en fait l'instantané se fait sur le même volume que le volume principal ce qui n'est pas l'idéal.

En effet, même le NAS est en RAID 5 pour protéger ses données, on n'est pas à l'abri d'un plantage de la carte RAID ce qui condamnerait toutes les données et pour éviter ça il faut un backup sur disque externe obligatoire...

Le Snapshot et Hyper Backup vont à priori de paire du coup.

[gaetan.cambier]

il y a 36 minutes, ComboDrums a dit :

plantage de la carte RAID

pas de carte raid dans les nas synology (comme la plupart des nas sauf en entreprise), c'est du raid logiciel (mdadm) --> meme si le nas est mort, tu sais récupérer tes donnée dans un pc classic sous linux.

Ce qui ne change rien sur le fond : double panne disk, vol du nas, ou autre problème sérieux et le backup est plus que utile 

 

[ComboDrums]

Ok ! Je pensais qu'il y avait un RAID matériel...

Oui en cas de méga pas de bol et double panne d'un disque, c'est perte de données assurée.

Par contre, pour le moment ma stratégie de sauvegarde est de créer des rotations de sauvegardes via Hyper Backup sur un disque externe et comme je fais la chasse à l'espace disque perdu, je me demande si cette stratégie ne serait pas plus efficace en terme d'espace disque avec les snapshots et ensuite je limiterai à 1 le nombre de sauvegarde globale sur le disque externe en cas de double crash de disque.

Qu'en pensez-vous ?

[ComboDrums]

Bonsoir,

Je relance le sujet car je ne suis toujours pas fixé...

Si quelqu'un peut m'éclairer avant que je bascule sur mon autre idée de stratégie de sauvegarde, ça serait cool !

Merci.

[Fenrir]

Les snapshots ne sont pas des sauvegardes, ils ne sont utilisable qu'avec la "source", c'est aussi pour ça qu'on les laisse généralement sur le même volume.

Il faut plus voir les snapshots comme des corbeilles permettant aux utilisateurs de récupérer vite fait un truc supprimé (ou mal modifié).

[ComboDrums]

Ok je vois !

Comme les fichiers présents dans CloudStation du coup n'est-ce pas ? Les versions sont définitivement effacées si le fichier est supprimé c'est ça ?

[Fenrir]

Il y a 13 heures, ComboDrums a dit :

Les versions sont définitivement effacées si le fichier est supprimé c'est ça ?

Non, pas nécessairement, un peu long et compliqué à expliquer.

Je ne sais pas ce que fait réellement HyperBackup lors de sauvegardes d'un NAS en BTRFS, mais s'il travail en mode bloc, ça ne sera pas plus lourd qu'avec les snapshots.

[ComboDrums]

Ok mais du coup je suis un peu perdu entre toutes ces solutions de sauvegarde et j'ai l'impression qu'elle font doublon...

En plus de ça on peut pas faire de snapshots sur un disque externe ce qui réduit l'intérêt de la sauvegarde...

Là j'ai 1 hyperbackup + 1 cloudstation (qui après vérification garde les fichiers supprimés) et une timemachine sur mon iMac du coup je pense pas avoir besoin des snapshots si j'ai bien compris leurs fonctionnements...

[Fenrir]

Une infrastructure de sauvegarde est généralement composées de 3 étapes :

1. snapshots : permet à un utilisateur de restaurer facilement (2 ou 3 cliques) un fichier supprimé récemment (quelques heures/jours)
2. sauvegardes : permet à un utilisateur/administrateur de restaurer un fichier supprimé il y a plus longtemps
3. archives : permet à un utilisateur/administrateur de récupérer (il ne s'agit pas d'une restauration) une ancienne version d'un fichier

Chacune de ces étapes peut travailler à différents niveaux (mode fichier, mode bloc) et utiliser diverses techniques (compression, dé-duplication, ...) et donc être plus ou moins gourmande en espace disque.

il y a 8 minutes, ComboDrums a dit :

En plus de ça on peut pas faire de snapshots sur un disque externe ce qui réduit l'intérêt de la sauvegarde...

Encore une fois, un snapshot n'est pas une sauvegarde

il y a 9 minutes, ComboDrums a dit :

je pense pas avoir besoin des snapshots si j'ai bien compris leurs fonctionnements...

c'est une question d'usage, si tu fais une erreur entre 2 sauvegardes, les snapshots peuvent être utiles, si tu sauvegardes plus vite que tu ne fais de modifications, les snapshots sont moins pertinents.

il y a 51 minutes, ComboDrums a dit :

Là j'ai 1 hyperbackup + 1 cloudstation (qui après vérification garde les fichiers supprimés) et une timemachine sur mon iMac

Là tu parles de 3 choses différentes qui n'ont, à la base, aucun rapport entre elles.

De nouveau, c'est une question d'usages.

[ComboDrums]

Ok merci.

Là je cherche à économiser le plus d'espace disque possible sur le NAS en vue d'archiver mes projets vidéos terminés (je tiens un studio vidéo (https://www.facebook.com/videoandgo/)) et certains de mes projets font jusqu'à 1To.

Avec ma TM stockée sur le NAS je peux remonter jusqu'à début septembre en + des versions de fichiers de CloudStation dont je me sers pour dispatcher mon taf sur mes iDevices + mon NAS perso à la maison qui lui même sauvegarde ces fichiers avec HyperBackup ce qui me procure pas mal de solutions au cas où je perdrais des fichiers. Par contre Hyperbackup ne fait pas de snap il me semble mais copie intégralement le fichier s'il a été modifié n'est-ce pas ?

[gaetan.cambier]

hyperbackup travaille au niveau bloc

[Fenrir]

il y a 6 minutes, ComboDrums a dit :

Par contre Hyperbackup ne fait pas de snap

J'espère que c'est effectivement le cas car "snapshot" n'est pas synonyme de "sauvegarde", je ne sais pas comment te faire comprendre ça

il y a 6 minutes, ComboDrums a dit :

copie intégralement le fichier s'il a été modifié n'est-ce pas

Comme @gaetan.cambier vient de l'indiquer, HyperBackup travail au niveau bloc.

[jac2904]

Hello, je suis assez bien intéressé par le sujet car je vais prochainement changer de Syno, et le nouveau supportant brtfs, j'aimerais en profiter au mieux. 

 

J'aimerais donc savoir pourquoi tu ne considère pas un snapshot comme une sauvegarde, finalement on peut facilement récupérer via ce système une ancienne version d'un fichier selon le politique de rétention que l'on met. 

 

Ok c'est sur le même volume, mais il y a aussi la fonctionnalité de réplication qui me semble convenir dans ce cas pour avoir sa sauvegarde sur un autre support mais toujours attaché à la machine, ce que je faisait jusque là. 

Après je compte enfin faire des sauvegardes sur le cloud et là il faudra bien passer par hyper backup. 

[ComboDrums]

D'après ce j'ai compris et testé, non tu ne peux pas faire un snapshot sur support externe du coup en aucun cas tu peux te service de ce système comme sauvegarde mais juste comme un instantané (n'est-ce pas Fenrir ?).

Moi étant donné que j'ai déjà une Time Machine de mon Mac sur le NAS qui sauvegarde toutes les 2H + un CloudStation qui répercute sur pas mal de machine, je n'ai finalement pas mis en place les snapshots qui revenaient (en gros) au même.

[Fenrir]

il y a 47 minutes, jac2904 a dit :

J'aimerais donc savoir pourquoi tu ne considère pas un snapshot comme une sauvegarde

Par ce que ce n'est pas la même chose du tout.

Un snapshot c'est ça (pour BTRFS, donc en Copy on Write) :

1. tu as une donnée composée des blocs 1 à 100
2. tu modifies la donnée, par exemple le bloc 40 => le FS écrit la nouvelle donnée ailleurs sur le disque, on va l'appeler bloc 624 puis il met à jour les metadatas
3. tu veux relire toutes les données, le FS lit les blocs 1 à 39, le 624 et les blocs 41 à 100
4. tu annules la modification grâce au snapshot, le FS modifie les metadatas

=>techniquement, un snapshot c'est juste une technique => sauvegarder une "technique" ne sauvegarde pas les données

Citation

A snapshot is a frozen image of all the files and directories of a subvolume. For example, if you have two files ("a" and "b") in a subvolume, you take a snapshot and you delete "b", the file you just deleted is still available in the snapshot you took. The great thing about Btrfs snapshots is you can operate on any files or directories vs lvm when it is the whole logical volume.

Note that a snapshot is not a backup: Snapshots work by use of btrfs's copy-on-write behaviour. A snapshot and the original it was taken from initially share all of the same data blocks. If that data is damaged in some way (cosmic rays, bad disk sector, accident with dd to the disk), then the snapshot and the original will both be damaged. Snapshots are useful to have local online "copies" of the filesystem that can be referred back to, or to implement a form of deduplication, or to fix the state of a filesystem for making a full backup without anything changing underneath it. They do not in themselves make your data any safer.

=> https://btrfs.wiki.kernel.org/index.php/FAQ#What_is_a_snapshot.3F

Lorsqu'on dit qu'on sauvegarde les snapshots, en pratique on sauvegarde le bloc 624. Mais ce bloc, sans les 99 autres, il ne te sert pas à grand chose.

Une sauvegarde au contraire, va prendre tous les blocs "actifs", donc les 100.

nb : une sauvegarde différentielle ou incrémentale prendra uniquement ce qui a changé (depuis la dernière sauvegarde ou la dernière sauvegarde complète, on fonction du mode)

Pour faire une sauvegarde intègre, on utilise souvent la technique des snapshots car elle permet d'éviter de bloquer la données le temps de faire la sauvegarde, on peut aussi se servir des snapshot pour accélérer les incrémentaux (il n'y a plus besoin de calculer les différences, il suffit d'aller voir les metadatas et les snapshots)

@ComboDrums : syno ne le permet pas, mais rien n’empêche de mettre les snapshots sur un autre disque, voir un autre nas, on peut même les mettre sur un clef usb en orbite martienne. La seule contrainte est que le FS doit pouvoir y accéder comme une donnée locale au moment où il en a besoin.

En virtualisation, lorsqu'on déplace une VM, à un moment donné, les snapshot et le disque de la VM ne sont pas sur les mêmes périphériques de stockage.

ps : il existe d'autres méthodes de snapshot que celles s'appuyant sur le CoW, mais ce n'est pas le sujet.

[jac2904]

ComboDrums, Synology dit clairement qu'avec le système de réplication, on peut sans soucis faire cela sur un disque externe ou autre nas, seule contrainte, il faut que le filesystem soit du btrfs.

 

Fenrir, ceci dit, moi je vois le système de snapshot exactement pareil qu'une sauvegarde incrémentielle.
Surtout si on le fait sur un autre disque / nas via le système de réplication.

Mais je comprends bien la remarque que le fait d'uniquement se baser sur les snapshot n'est pas suffisant vu que si il y a un soucis dans le filesystem, on perd tout.
Mais c'est donc pour cela que je me demande si le système de réplication n'est pas suffisant finalement ???

Maintenant Synology y met une contrainte et il n'est visiblement pas possible de répliquer le folder "homes" pour je ne sais quelle raison.
Il faut que je vérifie la contrainte pour le folder home, mais au sinon je me dit que pour mes sauvegardes en interne, c'est nickel, et passer par HyperBackup pour les sauvegardes dans le cloud.

 

[Einsteinium]

Il y a 2 heures, jac2904 a dit :

Mais je comprends bien la remarque que le fait d'uniquement se baser sur les snapshot n'est pas suffisant vu que si il y a un soucis dans le filesystem, on perd tout.
Mais c'est donc pour cela que je me demande si le système de réplication n'est pas suffisant finalement ???

Les metadata sont stockés en double sur le btrfs, justement pour éviter ce genre de problème.

[apossium]

@jac2904 et @ComboDrums

Pour compléter les explications de @Fenrir - même si il n'a besoin de personne - au sujet de la notion de sauvegarde …

1 --

La notion d'instantané est une fonction qui permet de suivre l'évolution d'un fichier ( sur un ensemble de fichiers et répertoires prédini).

Cela permet de suivre l'historique de modification d'un fichier de très près (sans consommer bcp d'espace disque - grave à la copie au niveau bloc).

Et l'utilisateur est en capacité de revenir en arrière si pb (i.e la récupération est possible au niveau utilisateur, pas besoin d'admin.).

Le fait que cet historique de modification soit généralement présent sur le NAS (sur le même système matériel) signifie que cela ne peut être une sauvegarde.

Pourquoi ? Si une panne (conséquence foudre par ex.) survient sur le NAS, tout ce qui est dedans est perdu i.e données + instantané puisque tout est au même endroit.

2 --

Une sauvegarde est une copie (photocopie) d'informations (intègres) sur un autre support matériel, situé dans un autre lieu et sans lien entre eux (ils sont dissociés) …etc (pour faire simple).

C'est une définition POINT

Dans votre cas, externaliser des instantanés (et je parle pas sur disque externe) va consommer trop de ressources (ou couter plus d'argent que nécessaire par rapport à l'enjeu).

3 --

Pensez qu'on défini et dimensionne une stratégie de sauvegardes (elles sont prévues) pour répondre aux différents types de scenarii de pertes de données / menaces (ce sont les 3 réponses à ces scenarii qui ont été fournies par @Fenrir) et autres contraintes en fonction d'un contexte (cf rédaction d'un PCA / PRA).

- La suppression / modification accidentelle d'un fichier utilisé par plusieurs utilisateurs - très probable et cela concerne 1 fichier ou dossier généralement.

- Les événements exceptionnels : incendie, foudre, vol, dégats des hauts, ouragan etc … Peu probable et cela concerne le système dans son ensemble.

- Nouvelles menaces : type crypto locker.

- Procès, contentieux et conflits clients (= archivages données) : en général, disponibles en lecture seule ou dispo. uniquement à la demande.

- Management des risques : sur la société et pérennité / demande assureur / demande d'un client grand compte (rédaction PCA).

etc …

Bref, il faut connaître les organisations et le traitement des données (les usages) pour savoir de quoi nous parlons ici.

Cela {correspond|est une réponse} à de multiples scenarii observés, de l'expérience de l'existant {matérialisé|traduit} en {solutions|outils} informatisées …

[_Megalegomane_]

Bonjour,

 

Juste pour donner un exemple d'utilisation, dans notre société, on envoie tous nos NAS par deux.

Le premier fait ses clichés en local mais les réplique également sur le deuxième. Nous sauvegardons également la configuration du premier vers le deuxième avec Hyper Backup.

 

En cas de crash du premier, sur le deuxième :

- restauration de la config via Hyper Backup

- modif de l'ip et du nom à l'identique du premier pour que les utilisateurs n'aient pas de manipulations

- basculement des Snapshot pour les rendrent accessibles

 

Par contre, au cas où, on fait un Hyper Backup complet dans le cloud.

 

Ce qui est sûr, c'est que les Snapshot simplifient la vie des utilisateurs et de notre service informatique. Reprise d'activité en 15 minutes sur le dernier Snapshot en cas de pépins. Utilisateurs autonomes pour restaurer un fichier/dossier. Facilité de migration d'un ancien vers un nouveau NAS.

 

Envoyé de mon ONEPLUS A5000 en utilisant Tapatalk

 

 

[unPixel]

Petite question @bryce426 stp, comment fais-tu via Hyper Backup pour sauvegarder  la config du NAS ? Merci par avance car j'ai pas encore trouvé et je sauvegarde  donc manuellement à chaque ajout/modification dans la config ce qui est un peu chiant. Ca serait top de pouvoir avoir un backup quotidien avec Hyper Backup. Merci par avance.

[_Megalegomane_]

De mémoire, pour sauvegarder uniquement les configs, il suffit de faire une sauvegarde vers NAS distant ou en local ou USB :

- ne sélectionner aucun dossier

- sélectionner les applis pour lesquelles ont veut un backup de la config

- pour le backup de la config DSM, à moins que cela ait changé, il n'y pas de choix, c'est automatique (facilement vérifiable en essayant de faire une restaure juste après la sauvegarde : la restauration de la config sera proposée)

 

[unPixel]

Ok merci.