Aide Sauvegarde Compress

[vdr]

Bonjour à tous,

Pour mettre mon DS1812+ en production, il me reste à finaliser une sauvegarde automatique. Déçu par les versions de DSM et TimeBackup (parce qu'il n'y a pas de compression), je mets en place des scripts. Je précise que mes fichiers de sauvegarde ne doivent pas dépasser la taille d'un média afin de pouvoir graver sur DVD ou BluRay (selon le cas). A date, je ne suis pas arrivé au but...

1/ Avec tar

tar -zcvf sauvegarde.tar.gz repertoire

Problème : le fichier tar.gz est énorme, tar ne fait pas de span auto, il faut utiliser une commande supplémentaire split que je n'arrive pas à installer (ipkg install split ne donne rien. 2/ Avec zip

zip -s 2m -r File.zip repertoire[/code]


Problème : dès que j'ajoute la commande -s 2m (split en fichier de 2Mo) c'est la cata :



zip créé bien quelques fichiers :

[code] DiskStation> ls NAS -l -rw-r--r-- 1 root root 2097152 Sep 8 12:15 Saturday_Daily.z01 -rw-r--r-- 1 root root 2097152 Sep 8 12:15 Saturday_Daily.z02 -rw-r--r-- 1 root root 2097152 Sep 8 12:15 Saturday_Daily.z03 -rw-r--r-- 1 root root 2097152 Sep 8 12:15 Saturday_Daily.z04 -rw------- 1 root root 1967147 Sep 8 12:15 zi5AzboP [/code]

tandis que pendant le déroulement j'ai toutes ces erreurs :

[code] ... adding: volume3/NAS/__SCANS_COMMUNS/Factures_EDF/EDF 2009 05 04.pdf (deflated 18%) adding: volume3/NAS/__SCANS_COMMUNS/Factures_EDF/EDF 2008 03 03.pdf (deflated 18%) warning [/volume4/NAS/zineNgtZ]: zipfile claims to be last disk of a multi-part archive; attempting to process anyway, assuming all parts have been concatenated together in order. Expect "errors" and warnings...true multi-part support doesn't exist yet (coming soon). file #1: bad zipfile offset (local header sig): 4 file #2: bad zipfile offset (local header sig): 109 file #3: bad zipfile offset (local header sig): 221 file #4: bad zipfile offset (local header sig): 456 file #5: bad zipfile offset (local header sig): 691 file #6: bad zipfile offset (local header sig): 926 file #7: bad zipfile offset (local header sig): 1161 file #8: bad zipfile offset (local header sig): 1398 file #9: bad zipfile offset (local header sig): 1633 file #10: bad zipfile offset (local header sig): 1868 file #11: bad zipfile offset (local header sig): 2103 file #12: bad zipfile offset (local header sig): 2338 file #13: bad zipfile offset (local header sig): 2573 file #14: bad zipfile offset (local header sig): 2808 file #15: bad zipfile offset (local header sig): 3043 file #16: bad zipfile offset (local header sig): 3278 file #17: bad zipfile offset (local header sig): 3513 file #18: bad zipfile offset (local header sig): 3748 file #19: bad zipfile offset (local header sig): 3983 file #20: bad zipfile offset (local header sig): 4218 file #21: bad zipfile offset (local header sig): 4453 file #22: bad zipfile offset (local header sig): 4688 file #23: bad zipfile offset (local header sig): 4923 file #24: bad zipfile offset (local header sig): 5158 file #25: bad zipfile offset (local header sig): 5393 file #26: bad zipfile offset (local header sig): 5628 file #27: bad zipfile offset (local header sig): 5863 file #28: bad zipfile offset (local header sig): 6098 file #29: bad zipfile offset (local header sig): 164971 file #30: bad zipfile offset (local header sig): 333336 file #31: bad zipfile offset (local header sig): 507821 file #32: bad zipfile offset (local header sig): 481201 file #33: bad zipfile offset (local header sig): 640170 file #34: bad zipfile offset (local header sig): 799146 file #35: bad zipfile offset (local header sig): 957453 file #36: bad zipfile offset (local header sig): 1094786 file #37: bad zipfile offset (local header sig): 1215160 file #38: bad zipfile offset (local header sig): 591022 file #39: bad zipfile offset (local header sig): 749771 file #40: bad zipfile offset (local header sig): 908086 file #41: bad zipfile offset (local header sig): 1098095 file #42: bad zipfile offset (local header sig): 1268141 file #43: bad zipfile offset (local header sig): 1427219 file #44: bad zipfile offset (local header sig): 1599964 file #45: bad zipfile offset (local header sig): 1690922 file #46: bad zipfile offset (local header sig): 1849842 file #47: bad zipfile offset (EOF): 1970402 test of /volume4/NAS/Saturday_Daily.zip FAILED zip error: Zip file invalid, could not spawn unzip, or wrong unzip (original files unmodified) *** glibc detected *** double free or corruption (!prev): 0x080d1ff8 *** [/code]

[u]3/ Mes questions :[/u]

- Pour 1) Savez-vous comment installer split sur DSM ?

- Pour 2) avez-vous une idée du problème ?

- A défaut, sauriez-vous m'orienter vers un autre d'outil (ligne de commande ou appli) ?

D'avance merci pour votre aide.

PS : vraiment incompréhensible que DSM ne propose pas un outil de sauvegarde compressée en natif (ou via une appli).

[DjMomo]

Il faut regarder du côté de genisoimage. Mais je sais pas si c'est disponible via IPKG.

Ça te permet de créer un ISO d'un répertoire. Il te faut juste calculer pour avoir la bonne taille.

J'avais developper ce petit projet sur Ubuntu pour mon boulot.

- récupération des fichiers à graver sur 3 PC différents,

- regroupement dans un dossier

- création de l'ISO pour chaque PC.

Restait plus le matin qu'à mettre la galette dans le lecteur et de lancer la copie...

[CoolRaoul]

Je ne suis pas sur qu'une sauvegarde faite par "tar" ou "Zip" prenne en compte les ACL : ce n'est pas un problème pour toi?

[DjMomo]

star (http://cdrecord.berl...ivate/star.html) conserve les ACL.

Là encore, est-ce disponible via IPKG ?

Modifié le 8 septembre 2012 par DjMomo

[vdr]

Je ne suis pas sur qu'une sauvegarde faite par "tar" ou "Zip" prenne en compte les ACL : ce n'est pas un problème pour toi?

Tu me fais douter...

Je sauvegarde les fichiers de travail (doc, xls, jpg, pst,...) de deux utilisateurs. Les deux PC pointent sur répertoire partagé sur le SYNO. Le répertoire donne les droits en lecture/écriture. En cas de crash disque ou de nécessité de réutiliser un backup de la veille, je prévois de restaurer le(s) fichier(s) et/où répertoire(s) sur le SYNO. Dans ce cadre là, tar/zip peuvent-ils convenirs ?

Question subsidiaire : si un utilisateur a laissé son PC allumé et sa session Outlook ouverte, la sauvegarde ne sera-t-elle pas perturbée ?

[CoolRaoul]

star (http://cdrecord.berl...ivate/star.html) conserve les ACL.

Les acl syno sont un peu spéciales: tu remarquera que les file systems sont montés avec une option non standard "synoacl", m'étonnerait que Star sache gérer ce bidule.

Modifié le 8 septembre 2012 par CoolRaoul

[vdr]

Il faut regarder du côté de genisoimage. Mais je sais pas si c'est disponible via IPKG.

Ça te permet de créer un ISO d'un répertoire. Il te faut juste calculer pour avoir la bonne taille.

J'avais developper ce petit projet sur Ubuntu pour mon boulot.

- récupération des fichiers à graver sur 3 PC différents,

- regroupement dans un dossier

- création de l'ISO pour chaque PC.

Restait plus le matin qu'à mettre la galette dans le lecteur et de lancer la copie...

Intéressant à regarder effectivement. (L'idée n'est bien sûr pas de graver quotidiennement mais 1 fois par mois par exemple)

[CoolRaoul]

Tu me fais douter...

Je sauvegarde les fichiers de travail (doc, xls, jpg, pst,...) de deux utilisateurs. Les deux PC pointent sur répertoire partagé sur le SYNO. Le répertoire donne les droits en lecture/écriture. En cas de crash disque ou de nécessité de réutiliser un backup de la veille, je prévois de restaurer le(s) fichier(s) et/où répertoire(s) sur le SYNO. Dans ce cadre là, tar/zip peuvent-ils convenirs ?

Oui et non; les droits unix (ugo/rwx) seront restaurés proprement, par contre les acl windows (si activées et utilisées sur le partage) seront ignorées.

Question subsidiaire : si un utilisateur a laissé son PC allumé et sa session Outlook ouverte, la sauvegarde ne sera-t-elle pas perturbée ?

La sauvegarde ne sera pas perturbée mais rien ne te garantit de l'intégrité de ta base PST outlook si elle est modifiée durant la sauvegarde.

Au contraire, les outils de sauvegarde intégrés à DSM (sauvegarde standard et timebackup) utilisent les clichés instantanés (snapshots) de volumes.

[DjMomo]

Intéressant à regarder effectivement. (L'idée n'est bien sûr pas de graver quotidiennement mais 1 fois par mois par exemple)

Pour le boulot, c'était 1 fois par semaine.

[vdr]

Oui et non; les droits unix (ugo/rwx) seront restaurés proprement, par contre les acl windows (si activées et utilisées sur le partage) seront ignorées.

Après réflexion, s'agissant d'un environnement "perso/pro", sans grosse contrainte je pense que cela devrait aller.

La sauvegarde ne sera pas perturbée mais rien ne te garantit de l'intégrité de ta base PST outlook si elle est modifiée durant la sauvegarde.

Justement, sous Windows j'ai eu des logiciels de backup qui retournaient un message d'erreur parce que le pst était verrouillé par Outlook. Avec "backup maker" (freeware), je n'ai aucun problème. Je suppose qu'il utilise un compresseur type zip, donc j'espère que zip en ligne de commande se comportera de la même manière. A tester.

Au contraire, les outils de sauvegarde intégrés à DSM (sauvegarde standard et timebackup) utilisent les clichés instantanés (snapshots) de volumes.

Je ne demande qu'à les utiliser, si seulement ils permettaient de compresser ! Je ne peux tout de même sauvegarder en 1/1...

Si je reviens à ma question du début, avez-vous des pistes pour faire marcher tar ou zip ? (ou un autre...)

[vdr]

En complément, je viens d'essayer 7z qui pose aussi problème :

Installation

ipkg install pk7z

commande (-v pour volume et 5m pour la taille de chacun)

7z a sauvegarde.7z /repertoire -v5m[/code]
[/size]



[size=4]Résultat

[code] 7-Zip 9.20 Copyright (c) 1999-2010 Igor Pavlov 2010-11-18 p7zip Version 9.20 (locale=C,Utf16=off,HugeFiles=on,4 CPUs) System error: E_NOTIMPL [/code]

[/size]

[size=4]Incroyable ce truc... Avez-vous une idée de ce qui coince ?[/size]

Modifié le 9 septembre 2012 par vdr

[CoolRaoul]

En complément, je viens d'essayer 7z qui pose aussi problème :

Installation

ipkg install pk7z

tiens, c'est étrange, chez moi le package se nomme "p7zip"

commande (-v pour volume et 5m pour la taille de chacun)

7z a sauvegarde.7z /repertoire -v5m[/code]




Résultat

[code] 7-Zip 9.20 Copyright (c) 1999-2010 Igor Pavlov 2010-11-18 p7zip Version 9.20 (locale=C,Utf16=off,HugeFiles=on,4 CPUs) System error: E_NOTIMPL [/code]

Incroyable ce truc... Avez-vous une idée de ce qui coince ? oui, faut mettre les switches *avant* les arguments: ce qui nous donne:

[code]7z a -v5m sauvegarde.7z /repertoire [/code]

comme indiqué dans l'aide:

[CODE] Usage: 7z <command> [<switches>...] <archive_name> [<file_names>...] [<@listfiles...>][/code]

[vdr]

tiens, c'est étrange, chez moi le package se nomme "p7zip"

Au temps pour moi, c'est bien "p7zip".

oui, faut mettre les switches *avant* les arguments:

ce qui nous donne:

7z a -v5m sauvegarde.7z /repertoire [/CODE]

Je viens de réessayer en mettant les switches avant, même message d'erreur !...

[CoolRaoul]

le code d'erreur "E_NOTIMPL" m'a amené a ceci:

http://sourceforge.net/projects/p7zip/forums/forum/383044/topic/1573138

essaie donc d'ajouter le switch "-ms=off" pour voir

note: je n'ai pas la moindre idée de ce qu'est une "solid archive"

[vdr]

Je viens de tester, cela ne change rien. J'ai aussi upgradé mon DS1812+ vers DSM 4.1-2236.

Pas d'amélioration J'ai loupé un truc ?

Modifié le 9 septembre 2012 par vdr

[CoolRaoul]

Franchement la je ne vois plus:

j'ai installé la même version de 7zip (9.2) que toi

et pourtant la même commande que toi ne me fait pas l'erreur

[vdr]

Aie !... A tout hasard, peux-tu me fournir une trace de 7-zip pour comparer les paramètres par défaut ?

Ici :

7-Zip 9.20 Copyright (c) 1999-2010 Igor Pavlov 2010-11-18

p7zip Version 9.20 (locale=C,Utf16=off,HugeFiles=on,4 CPUs)

Je vais essayer de voir avec le support de SYNO.

Merci

PS : en //, si quelqu'un a une idée, je suis preneur...

Modifié le 9 septembre 2012 par vdr

[CoolRaoul]

Aie !... A tout hasard, peux-tu me fournir une trace de 7-zip pour comparer les paramètres par défaut ?

Ici :

7-Zip 9.20 Copyright (c) 1999-2010 Igor Pavlov 2010-11-18

p7zip Version 9.20 (locale=C,Utf16=off,HugeFiles=on,4 CPUs)

Voila:

root@fserv> 7z a -v5m sauvegarde.7z /rep


7-Zip 9.20 Copyright (c) 1999-2010 Igor Pavlov 2010-11-18

p7zip Version 9.20 (locale=en_US.utf8,Utf16=on,HugeFiles=on,1 CPU)

Scanning


Creating archive sauvegarde.7z



Everything is Ok

Je vais essayer de voir avec le support de SYNO.

Ca m'étonnerait fort que le support de SYNO t'aide pour des problèmes sur un package optware

[vdr]

Voila:

root@fserv> 7z a -v5m sauvegarde.7z /rep


7-Zip 9.20 Copyright (c) 1999-2010 Igor Pavlov 2010-11-18

p7zip Version 9.20 (locale=en_US.utf8,Utf16=on,HugeFiles=on,1 CPU)

Scanning


Creating archive sauvegarde.7z

Everything is Ok

Je vois une différence au niveau des locales. Possible influence ?

Ca m'étonnerait fort que le support de SYNO t'aide pour des problèmes sur un package optware

J'essaie quand même. Y a-t-il un support côté optware ?

PS : possible que le contenu du répertoire lui pose problème ?

Exemple : "fichier comme ceci .txt"

[CoolRaoul]

Je vois une différence au niveau des locales. Possible influence ?

Non, la preuve:

root@fserv> LANG=C 7z a -v5m sauvegarde.7z /rep


7-Zip 9.20 Copyright (c) 1999-2010 Igor Pavlov 2010-11-18

p7zip Version 9.20 (locale=C,Utf16=off,HugeFiles=on,1 CPU)

Scanning


Creating archive sauvegarde.7z



Everything is Ok

J'essaie quand même. Y a-t-il un support côté optware ?

J'irai plutot voir coté 7zip:

http://sourceforge.n...s/p7zip/support

PS : possible que le contenu du répertoire lui pose problème ?

Exemple : "fichier comme ceci .txt"

Fait le test: crée un répertoire de test ne contenant qu'un seul fichier voie ce que ça donne.

[vdr]

OK pour les locales, merci.

Je viens de tester avec 1 répertoire contenant 1 fichier, cela fait pareil. J'ai ouvert

un ticket au support Synology, je regarde aussi côté support 7-zip. A suivre donc.

[vdr]

Bonsoir,

Bonne nouvelle, à force de chercher, j'ai pu régler deux points sur trois !

1/ Pour tar

On installe split comme ceci

ipgk install textutils[/CODE]

Il me reste à trouver la bonne ligne de commande.

[u]2/ zip[/u]

En l'état, pas encore de solution.

[u]3/ 7z[/u]

J'ai contacté l'auteur (merci CoolRaoul !) qui m'a donné la clé : [color=#000000][b]Remove backup.file.7z before operation.[/b][/color]

Voilà pour aujourd'hui...

[vdr]

Je viens d'obtenir la solution pour zip : il faut simplement supprimer le switch -T (test archive)

qui pose visiblement problème en mode spanning...

[tux]

bonjour,

J'ai le même soucis j'ai fait une recheche ( find / -name "backup.file.7z") afin de chercher ce fichier et je ne l'ai pas trouvé ds mon syno.

Pouvez_vous m'aider ?

merci