Timebackup "mange" 2,4 Go Toutes Les Heures

[SAMU]

A.S. Je viens d'ouvrir également un sujet sur Time Backup "mangeant" 100 Go à chaque sauvegarde de 100 Go sur mon Syno cible sous DSM 5 beta:

http://www.nas-forum.com/topic/39152-time-backup/#entry1319217488

Time Backup est une sauvegarde incrémentale.

Mes sauvegardes portent sur 100 Go (100 000 fichiers dans 5 000 répertoires).

Une sauvegarde des fichiers modifiés est programmée à chaque heure.

Jusqu'à présent j'utilisais Robocopy.

Avant de basculer définitivement sur TimeBackup je l'ai testé sans qu'aucun fichier source ne soit modifié.

Le résultat est que 2,4 Go sont "mangés" à chaque sauvegarde.

Il ne s'agit pas de la "taille occupée par les fichiers" mais bien de ce qui utilisé sur le disque, rapporté par le "Gestionnaire de stockage" !

Alors qu'avec Robocopy je suis capable de conserver les sauvegardes sur plusieurs années, cela devient impossible avec TimeBackup,

En effet, sans même sauvegarder 1 seul octet, il n'est possible de conserver que 17 jours de sauvegarde sur 1To !

J'ai interrogé SYNOLOGY qui me dit que cela n'est pas possible, mais le fait est là, et je n'ai toujours pas de retour de leur intervention sur mon serveur (problème soumis depuis 15 jours).

J'ai simulé la sauvegarde de 100 Ko depuis un répertoire comportant 100 000 fichiers de 1 octet répartis dans 10 000 sous répertoires.

Pourtant, sans la moindre modification de fichier, TimeBackup "mange" à chaque sauvegarde 40 Mo, soit 400 fois ce que représentent les fichiers sources par eux-mêmes !

...suite

Mon appel à l'assistance de SYNOLOGY semble avoir porté ses fruits. Je rajoute donc ici la conclusion de leur intervention sur mon DS413 (reçue le 13 mars 2013) :

"This is a known issue and will be a newer hotfix available coming in few weeks. Sorry for your inconvenience"

:("Cette situation est identifiée et un nouveau correctif sera disponible dans quelques semaines. Désolé que cela vous crée problème.")

Cependant, voir l'explication de SYNOLOGY ici:

Modifié le 3 février 2014 par SAMU

[Brunchto]

il faut que tu regardes la taille restante sur le disque, pas la taille occupée par les fichiers... si le fichier n'est pas modifié, Timebackup ne pose qu'un lien vers le fichier. par contre si tu regardes la taille de chaque dossiers de sauvegarde, tu auras effectivement une taille délirante (somme des tailles de fichiers)

ex: tu as des fichiers pour 500Go

1er jour : dossier time backup --> 500Go : espace disque restant sur un 1To: 500Go

tu ne modifies pas le fichier

2eme jour: dossier time backup -->1To (dossier jour 1:500Go, jour2:500Go): espace disque restant sur un 1To:500Go

on en avait pas mal discuté à une époque sur le forum

Modifié le 12 mars 2013 par Brunchto

[SAMU]

Il s'agit bien de ce qui est utilisé sur le disque, rapporté par le "Gestionnaire de stockage" et non de la "taille occupée par les fichiers".

P.S Je le rajoute à mon message d'origine pour éviter toute confusion.

Modifié le 12 mars 2013 par SAMU

[Kramlech]

J'ai simulé la sauvegarde de 100 Ko depuis un répertoire comportant 100 000 fichiers de 1 octet répartis dans 10 000 sous répertoires.

Pourtant, sans la moindre modification de fichier, TimeBackup "mange" à chaque sauvegarde 40 Mo, soit 400 fois ce que représentent les fichiers sources par eux-mêmes !

Là, il me semble que tu oublies la notion d'unité d'allocation : un fichier de 1 octet prend au minimum un secteur, et autant que je sache, la taille minimum d'un secteur est de 512 octets (du moins sous windows, je n'ai aucune connaissance en Mac ...)

Donc tu as une erreur dans le calcul de la taille de ta sauvegarde initiale ....

[SAMU]

0 octets reste 0 octet, s'il n'y a rien à sauvegarder !

Pour les 100 Ko tu as raison sur le principe, ils occupent 100 Mo (1Ko/secteur). Il ne s'agit ici que de montrer l'absurdité de la situation.

Et ça n'explique aucunement la perte de 2,4 Go à chaque sauvegarde !

Modifié le 12 mars 2013 par SAMU

[CoolRaoul]

Si tu disposes de la commande "du" d'optware (ipkg) tu peut avoir une idée précise de la place réellement occupée par les différents dossier images timebackup.

Commencer par se déplacer dans le dossier cible de timebackup

La dessous tu devrais avoir un sous dossier avec un nom du style "<hostname>_XXXXXXXXXX", et en dessous un autre nommé "task_<n>" (chez moi par exemple, ça donne "/volume2/backups/TimeBackup/fserv_00113205F256/task_8")

Une fois dans le répertoire "task_n", tu utilise la commande "du -sh *" (en s'assurant de bien utiliser le "du" optware et pas celui intégré a dsm).

Cela va afficher un rapport d'utilisation de chacun des dossiers images timebackup avec prise en compte unique des fichiers multiplement liés (ce que ne fait pas /usr/bin/du), par conséquent l'espace disque réellement occupé, dossier par dossier

[SAMU]

Merci CoolRaoul pour ta suggestion.

Je ne dispose pas de "Optware" et pour le moment, je ne souhaite pas installer autre chose que les packages validés par Synology.

J'avais essayé la commande DOS "DIR /A-L /S" mais elle ne semble pas reconnaitre le type de "jonction" utilisé sur le DS413.

De toute façon ce que rapporte le "Gestionnaire de stockage" devrait être tout à fait crédible.

Soit les "jonctions" utilisent de la place. Soit TimeBackup crée des fichiers cachés sur le disque cible, pour son propre usage, à chaque sauvegarde.

P.S. Par ailleurs, l'intérêt des "jonctions" me semble tout à fait discutable car il ne permet pas d'appréhender la réalité de ce qui est sauvegardé.
Pour ce qui est de rechercher les différentes versions d'un fichier, c'est atroce !
La sauvegarde systématique des "#recycle" est également une absurdité (entre autres, on se récupère une foultitude de fichiers temporaires).

Modifié le 12 mars 2013 par SAMU

[Kramlech]

De toute façon ce que rapporte le "Gestionnaire de stockage" devrait être tout à fait crédible.

Soit les "jonctions" utilisent de la place. Soit TimeBackup crée des fichiers cachés sur le disque cible, pour son propre usage, à chaque sauvegarde.

Je me rappelle les premiers test que j'avais fait avec TimeBackup.

J'envoyais les sauvegardes sur une clé USB.

Résultats :

• Sous windows, j'avais 1,5 Go d'utilisé, et plus rien de libre sur une clé de ... 250 Mo !!!!
• Et File Station me donnait ... rien : il était incapable de calculer la place utilisée (plantage ... mais c'était avant la version 4)

[SAMU]

Désolé Kramlech, je n'ai pas bien compris entre les 1,5 Go sous Windows et les 250 Mo sur la clé.

Pour ce qui est du disque cible, dans mon cas, il est sur le DS413 (Travail: 2 diques de 1To en RAID 1 + Sauvegarde: 1 disque de 2To).

[CoolRaoul]

Merci CoolRaoul pour ta suggestion.

Je ne dispose pas de "Optware" et pour le moment, je ne souhaite pas installer autre chose que les packages validés par Synology.

Oui, enfin optware n'est pas un truc qui tourne en tache de fond non plus, tant que tu n'en utilise pas les commandes ca ne peut pas interférer avec DSM. Faut voir ça un peu comme cygwin sous windows.

Car si on prend ton commentaire à la lettre ("pas installer autre chose que les packages validés par Synology") ce reviendrai a ne rien mettre sur les disques du NAS...

==> Etrangement, d'apres l'aide en ligne, le "du" DSM devrait aussi savoir gérer aussi les hardlinks (du -h indique "-l Count sizes many times if hard linked"), donc on pourrait croire que sans le "-l" c'est bien géré mais en fait non.

Dommage, on aurait pu faite sans optware.

J'avais essayé la commande DOS "DIR /A-L /S" mais elle ne semble pas reconnaitre le type de "jonction" utilisé sur le DS413.

C'est sur que les hardlinks, vu a travers un montage réseau SMB faut pas trop espérer que ce soit détecté par windows.

De toute façon ce que rapporte le "Gestionnaire de stockage" devrait être tout à fait crédible.

Je n'ai pas dit le contraire. Le but était d'analyser en détail *ou* cette place était occupée.

Soit les "jonctions" utilisent de la place. Soit TimeBackup crée des fichiers cachés sur le disque cible, pour son propre usage, à chaque sauvegarde.

Le "du" optware t'aurai permis ds savoir *exactement* la place consommée, dossier par dossier.

Chaque "junction" comme tu dis (hardlink en fait), occupe exactement un inode, ce qui n'est pas grand chose.

P.S. Par ailleurs, l'intérêt des "jonctions" me semble tout à fait discutable car il ne permet pas d'appréhender la réalité de ce qui est sauvegardé.

Pour ce qui est de rechercher les différentes versions d'un fichier, c'est atroce !

La sauvegarde systématique des "#recycle" est également une absurdité (entre autres, on se récupère une foultitude de fichiers temporaires).

Ce ne sont pas des "junctions" entre répertoires au sens Windows (correspondant à la commande windows "mklink /j") mais des liens *physiques* (équivalent de "mklink /h") et c'est la seule façon d'avoir multiple images de répertoires à des instants donnés en mutualisant l'espace disque pour les fichiers non modifiés.

A moins que tu ais une meilleure solution, perso je ne vois pas.

[Kramlech]

De toute façon ce que rapporte le "Gestionnaire de stockage" devrait être tout à fait crédible.

Désolé Kramlech, je n'ai pas bien compris entre les 1,5 Go sous Windows et les 250 Mo sur la clé.

Ce n'était que pour relativiser la crédibilité à laquelle tu faisais allusion !!!!

[CoolRaoul]

Ce n'était que pour relativiser la crédibilité à laquelle tu faisais allusion !!!!

D'autant plus que ça ne serait pas le seul endroit ou les outils DSM s'emmêlent les pinceaux avec les hardlinks pour calculer la place disque

Cf ici:

[SAMU]

En voilà une sacré info !

Alors, y a t'il dans DSM un moyen de mesurer surement ?

Vraiment une très mauvaise idée, ces hardlinks dans TimeBackup !

Modifié le 12 mars 2013 par SAMU

[CoolRaoul]

En voilà une sacré info !

Alors, y a t'il dans DSM un moyen de mesurer surement ?

Vraiment une très mauvaise idée, ces hardlinks dans TimeBackup !

Ce n'est pas une mauvaise idée, c'est la seule façon de faire

[SAMU]

Il suffit de ne pas en mettre et de ne sauvegarder que les seuls fichiers modifiés !

Modifié le 12 mars 2013 par SAMU

[CoolRaoul]

Il suffit de ne pas en mettre et de ne sauvegarder que les seuls fichiers quand ils sont modifiés !

Tu n'aura pas alors la possibilité de "voir" une image complète de répertoire à une date donnée ce qui est quand même une fonctionnalité essentielle de timebackup.

Tu remarquera qu'Il est possible de se ballader dans n'importe quel dossier archive de TimeBackup et de se retrouver exactement dans l'état ou étaient les dossiers sources à l'heure et date correspondante.

Modifié le 12 mars 2013 par CoolRaoul

[SAMU]

Ce n'est absolument pas mon avis.
A l'exception de la dernière sauvegarde, où il peut être utile de retrouver TOUTES LES DERNIERES VERSIONS des fichiers, l'important est surtout de retrouver différentes versions d'un même fichier pour le restaurer, non pas à une date arbitraire, mais après analyse des différentes versions.
Le fatras de hard links rend cette opération presque impossible en manuel.
Imagine comment retrouver les différentes versions d'un fichier depuis 2 ans dans ses 15 000 liens (sans parler du temps de recherche/affichage).

De toute façon le sujet n'est pas là.

Je viens d'effacer, depuis l'explorateur Windows, l'un des répertoires de sauvegarde et je retrouve dans le Gestionnaire de stockage la taille initialement libre sur le disque avant ce TimeBackup de fichiers non-modifiés.

Ca prouve, en tout cas, que le surplus est bien dans ce repertoire.

Modifié le 12 mars 2013 par SAMU

[CoolRaoul]

Ce n'est absolument pas mon avis.

Mon propos n'était pas de donner un avis, mais de mettre en avant une fonctionnalité de TimeBackup qui deviendrait impossible sans utiliser les hardlinks.

A l'exception de la dernière sauvegarde, où il peut être utile de retrouver TOUTES LES DERNIERES VERSIONS des fichiers, l'important est surtout de retrouver différentes versions d'un même fichier pour le restaurer, non pas à une date arbitraire, mais après analyse des différentes versions.

Le fatras de hard links rend cette opération presque impossible en manuel.

Imagine comment retrouver les différentes versions d'un fichier depuis 2 ans dans 15000 liens (sans parler du temps de recherche/affichage).

J'ai l'impression que ce que tu recherches est un système de gestion de version basé sur une vue orientée *fichier*, TimeBackup présente une interface avec une vue orientée *chronologique* et répond donc à un besoin différent.

Ce n'est tout simplement pas l'outil adapté à ton besoin.

Tu devrais envisager de chercher des solutions tierces je pense.

Modifié le 13 mars 2013 par CoolRaoul

[CoolRaoul]

As-tu regardé du coté de CloudStation?

Je pense que cela répondrai mieux a ton besoin;

[SAMU]

Cloud Station c'est fait pour sauvegarder d'un disque du SYNO à un autre disque du SYNO ?
Sa fonction de "sauvegarde" semble assez limitée. Je lis: "Conservez jusqu'à 32 versions précédentes".

Malgré ses hard links détestables, TimeBackup semble être l'application SYNOLOGY la plus à même de me convenir.
Je souhaite juste qu'elle fasse son boulot sans "manger" 2,4 Go de l'heure pour rien !

Modifié le 12 mars 2013 par SAMU

[CoolRaoul]

CloudStation ça sauvegarde de disque à disque sur le SYNO ?

Cloudstation n'est pas un système de sauvegarde, il est donc nécessaire aussi d'avoir une sauvegarde des données simultanément.

[SAMU]

Bonne surprise, je reçois de SYNOLOGY une conclusion provisoire au problème:
"This is a known issue and will be a newer hotfix available coming in few weeks. Sorry for your inconvenience

You can revert the password, thanks."

("Cette situation est identifiée et un nouveau correctif sera disponible dans quelques semaines. Désolé que cela vous crée problème.")

J'attends donc avec impatience "few weeks" pour relancer les sauvegardes avec TimeBackup !

Merci à ceux qui m'ont répondu, même si je sentais un certain scepticisme.

SAMU

P.S. Rendez-vous dans "few weeks", avec un hotfix (parole de Syno)

Modifié le 15 mars 2013 par SAMU

[SAMU]

Voici l'explication technique de SYNOLOGY:

"From technical perspective, the developer says that the backup data set contains Windows Access Control List(ACL), and one of the archive bits - is_read_only will not backup properly on the USB disk or other backup destination (DiskStation) when using Time Backup feature.
Due to the particular archive bit is missing, Time Backup will always backup the same data set even when they have been existed at the destination, as also the reason why new file versions were increasingly generated on backup USB disk."

('Du point de vue technique, le développeur indique que le "data set" de sauvegarde contient la liste des ACL de Windows, et l'un des bits d'archive ( is_read_only) n’est pas sauvegardé correctement sur le disque USB ou une autre destination de sauvegarde (DiskStation), lorsque l'on utilise Time Backup.

Du fait que ce bit d'archive est manquant, Time Backup sauvegardera le même "data set", même quand il est déjà présent sur la cible, ceci est aussi la raison pour laquelle de nouvelles versions sont générées et rajoutées sur le disque USB de sauvegarde.")

...ont-ils vraiment cerné le problème. Pour moi, un doute subsiste...

Modifié le 18 mars 2013 par SAMU

[thierry.]

ça fait 3 semaines que je teste Time Backup.

genre 500Go de mon NAS vers un disque externe 2To. Je ne change pas grand chose dans le NAS donc normalement j'avais de quoi voir venir.

Je faisais une backup toutes les nuits, pensant que c'est de l'incrémentiel et que ça va pas me bouffer trop de place.

Mais depuis quelques jours, ma notification par email me dit :

NAS - Time Backup sur DiskStation est partiellement terminée

Cher utilisateur,

Time Backup sur DiskStation est terminée, mais certains partages ont été ignorés. Veuillez vérifier le journal du programme pour de plus amples informations.

Est ce que ça te donnait un message du même genre, Samu ?

Je suis allé voir le disque dans le DSM, et il est plein.

(mais au vu de ce que vous disiez, au dessus, ce n'est pas toujours vrai.)

Quelqu'un saurait pourquoi ça ne fait qu'une sauvegarde partielle? (Alors que je dois avoir 500Go du départ, et peut être 1 ou 2 Go qui ont changés, sur ces 3 dernières semaines.)

Ou alors je ne devrais pas faire une backup toutes les nuits ?

Ou alors, fallait pas que je clique le "Activer Smart Recycle" ?

Merci pour vos conseils

[Brunchto]

si j'ai bien suivi ce qu'a indiqué SAMU, il semblerai qu'il y ait un bug dans le Timebackup qui conduise à ce que des fichiers non modifiés soient quand même sauvegardés.