SAMU

Non, pas de SSH (BusyBox). Pas de Telnet non plus (BusyBox idem) Comme je le dis, j'aimerais n'avoir qu'à cliquer sur un raccourci du Bureau de DSM.

Bonjour, Je souhaite créer, sur le Bureau du Syno (ou ailleurs), un raccourci vers un script analysant les dossiers de TimeBackup (il ne s'agit pas d'installer un package). Mes seules solutions actuelles, pour lancer le script, sont d'utiliser le Planificateur de tâche de DSM ou la BusyBox, via SSH ou Telnet. Ce n'est pas très pratique. Comment faire ?

Complément sur ce qui peut conduire à une nouvelle création de la totalité des fichiers: - effacement du dernier répertoire de sauvegarde; - changement de nom du dernier répertoire de sauvegarde; - changement date/heure du dernier répertoire sauvegarde (TimeStamp contrôlé);

Sujet annulé

Voici ma commande de suppression des hardlinks (pas encore testée): for i in $(ls -d1 20??????-????/) ; do echo $i ; find $i -type f -links +1 -exec rm -f {} ; ; done On ne devrait retrouver dans chaque sauvegarde que ce qui a changé dans la suivante. Seule la plus récente devrait comporter l'ensemble des fichiers.

Ta trouvaille est vraiment intéressante. De mon coté, je viens de trouver un autre problème, lorsqu'une sauvegarde a été conservée partiellement (après plantage de la connexion). Il apparait que tout ce qui n'avait pas pu être hardlinké est retransféré à la prochaine sauvegarde comme s'il n'avait jamais existé. C'est vraiment une grosse faiblesse de TimeBackup en réseau. J'avais noté, lors de tests, qu'après plantage de connexion TimeBackup continuait de tourner un certain temps et que, s'il pouvait se reconnecter, il annulait le répertoire de la sauvegarde déjà entamée. Passé ce délai, le répertoire subsiste. Il sera intéressant d'observer ce qui se passe lors d'un changement d'IP publique (connexion par DDNS). Après plantage du backup, par la perte de l'IP, annule-t'il le répertoire entamé, après avoir retenté une nouvelle connexion via DDNS ? Grace à ta commande "magique" (en tout cas pour un non-linuxien), j'envisage de pouvoir supprimer les sauvegardes inutiles, composées uniquement de hardlinks >1 (en remontant de la sauvegarde la plus ancienne à la dernière). En effet, une limitation de TimeBacup qui m'énerve, c'est celle du nombre de jeu de sauvegarde possible qui m'a contraint à utiliser "Smart Recycle" (il y a 1 sauvegarde/heure). De plus je vais aussi pouvoir retirer les hardlinks, qui, pour moi, nuisent à la recherche des versions de fichiers.

Je suis tout à fait d'accord. On peut dire que chaque lien pointe vers la même adresse data en mémoire disque. Ce que l'on nomme communément LE fichier n'est en fait qu'un lien vers ces datas, au même titre que n'importe quel autre suplémentaire que l'on nommera alors "hardlink". Le hardlink n'est rien d'autre que la reproduction du 1er lien (improprement appelé LE fichier). Cette nouvelle entrée peut avoir un nom différent mais à l'instar de toute entrée du système de fichier, ne peut être que sur la même partition que les datas auxquelles il renvoie. En effet ma formulation était impropre quand je disais qu'un hardlink pointait vers le 1er fichier. Une fois dédoublée la 1ère entrée, il ne devient plus possible d'identifier laquelle est à la base du fichier d'origine, à moins de comparer leurs dates de création par l'intermédiaire de celle du répertoire de sauvegarde.

Non, non ! Il y a bien des hardlinks sous NTFS (nommés aussi Liens Réels chez MicroSoft). Pour ce qui est des commandes que je t'ai citées, tout à l'heure, en effet, elles ne sont capables que de repérer les lien symboliques et les joncions. La commande DOS pour créer un hardlink est: MKLINK /H Lien Cible - Mklink (tout court) Lien Cible -> crée un lien symbolique vers un fichier - Mklink /D Lien Cible -> crée un lien symbolique vers un Dossier - Mklink /J Lien Cible -> crée une jonction voir: http://fspsa.free.fr/jonctions.htm#hardlinks.reg Pour en revenir à Linux, il me semblait que normalement lorsque "ls -l" liste des fichiers, il affiche à droite, et pour les seuls hardlinks, une référence au fichier vers lequel pointe le hardlink. Est-ce que je me trompe ?

En effet ! Je suis étonné qu'il n'existe pas de commande Linux permettant de ne lister que les fichiers (sans les hardlinks) ou que les hardlinks (sans les fichiers) (sous DOS: dir /a-L et dir /aL). Elle semble pourtant exister intrinsèquement, puisque "ls -l" devrait normalement afficher un renvoi, en fin de ligne, pour les hardlinks: "lrwxrwxrwx 1 root root 31 mar 24 08:05 nom_hardlink - > nom_ficher_réel". Avec DSM (sous SSH ou Telnet), je ne retrouve pas ce renvoi (qu'il aurait suffi de vérifier pour ne pas comptabiliser l'espace indiqué en regard des hardlinks).

Grand merci pour ta commande et tes explications (comme je l'avais dit plus haut je ne suis pas linuxien mais je vais essayer de décortiquer ta commande pour mieux la comprendre). C'est assez fastidieux de faire un "CD /dossier" pour chaque répertoire de sauvegarde. Abuserais-je en te demandant comment compléter ta commande pour qu'elle donne l'occupation, un à un, de chaque répertoire de sauvegarde, à la manière, sous DOS, de "for /D %X in (*) do TA_COMMANDE_pour_le_dossier_%X" ou "for /F %X in ('dir /b /ad) do TA_COMMANDE_pour_le_dossier_%X" P.S. En tout cas, pour l'instant, en utilisant ta commande, je retrouve globalement les observations que j'avais faites en me basant sur le gestionnaire de stockage.

Pas très précis, mais le plus simple, est d'utiliser le gestionnaire de stockage.

J'ai ouvert un sujet sur Time Backup qui me "mange" 100 Go à chaque sauvegarde sur le Syno cible sous DSM 5 beta:

Merci Aegir_fr. Pour ma part, je n'ai plus non plus d'ACL d'activé sur le Syno. Je les avais retirés après avoir découvert, après leur apparition, les problèmes qu'ils avaient créés (fichiers Word, TimeBackup déjà etc.). Il me semble cependant (je ne sais plus ce qui m'avait alerté) que théoriquement absents, les ACL sont présents mais configurés au plus large. Je vais essayer, dès que possible, de regarder du coté des utilitaires que tu évoques (bien que mes dernières approches de Linux datent de plusieurs années).

Certain ! ...et cela se produit, dès lors, à chaque nouvelle sauvegarde !

Merci Aegir_fr ! Désolé, je n'avais pas été averti de ta réponse. Je te remercie également d'autant de précision. Comme Guigeek le propose, Zorineau, pourrais-tu nous communiquer une commande permettant de retirer les ACL Windows et de diminuer ainsi la taille des sauvegardes. Pour info, je viens de faire des tests, avec la DSM 5 béta (TimeBackup 1.2-2359) sur le Syno cible: ce sont les fichiers eux-mêmes qui sont intégralement recopiés (100 Go de fichiers -> 100 Go de pris à la nouvelle sauvegarde, même s'ils n'ont pas changés) !!!!!!!!!!!!!!!!!!

Ce post est autour de TimeBackup et de l'espace occupé. Pas du tout le temps de répondre en détails à ces interrogations. Il faut que tu t'informes sur: - Sauvegarde par image disque. - Sauvegarde simple (tous ou une partie des fichiers) - Sauvegarde incrémentale (seuls fichiers modifiés) (ce que fait, TimeBackup mais en plus il crée des liens vers ceux non modifiés, les hard links) Ce sera d'avantage sur un site sur les sauvegardes, en général, que tu trouveras les infos basiques, moins sur un site sur les SYNO, plutôt pro. Attention, mon expérience m'amène à penser que beaucoup de softs de sauvegarde ne sauvegardent pas tout. C'est la raison première pour laquelle j'avais développé autour de Robocopy (voir plus haut). Si tu as des questions précises (et des observations) sur TimeBackup et de l'espace occupé, reviens les formuler ici. Bonne chance, P.S. Cygnus, regarde du coté de "Synology Data Replicator 3" qui pourrait correspondre à ta recherche.

Faire un petit script Windows qui copierait mes données dans un répertoire, le zipperait, le renommerait avec la date du jour et l'enverrait ensuite sur le nas et ensuite dupliquer les données du répertoire de sauvegarde du nas avec celui du nas distant Pourquoi zipper en 1 seul fichier (il y a tellement plus de chance d'avoir une déconnexion sur un grand fichier et d'avoir à TOUT re-transférer). utiliser un outil de type time backup pour faire une copie de mes répertoires, mais dans ce cas j'ai quelques doutes sur le fonctionnement car je cherche à avoir l'instantané d'un jeu de données et pas de fichiers en particulier TimeBackup crée d'abord un "instantané" avant d'en transférer les fichiers. P.S. Je te signale que la sauvegarde Windows (pas celle qui fait de l'image disque) crée des fichiers zippés.

Robocopy ne crée pas de hard Links (d’ailleurs on perdrait, comme avec TimeBackup, l’espace occupé par les répertoires). Pour le reste, si tu sais programmer (en batch par exemple), c'est d'une souplesse absolue. En contrepartie, les paramètres sont si nombreux et si mal documentés que cela demande du temps pour obtenir finement ce que tu veux. Même s'il existe une semi-interface Windows (chez SysInternal, il me semble), Robocopy n'a d'intérêt qu'en ligne de commande (Dos), enrichie de programmation complémentaire (script ou autre). .

N'oublie pas que la poubelle ("Recycled"), si tu en as une, est perpétuellement alimentée de fichiers temporaires et est backupée à chaque fois. (je dois finaliser un utilitaire qui évite la sauvegarde de cette encombrante poubelle). (j'ai également un projet permettant d'éviter la sauvegarde inutile des dossiers avec hard links qui prend de la place inutilement et ne permet pas d'identifier facilement les fichiers modifiés ou effacés). *J'utilise encore un utilitaire que j'avais développé autour de Robocopy (Windows). Avec lui, pour 100Go de documents, ce sont des années de sauvegardes, chaque heure, que je conserve sur quelques centaines de Go. Avec TimeBackup, même patché, on est loin du compte, puisqu'avec ces mêmes 100Go de documents répartis dans 10 000 dossiers, c'est 40Mo qui sont engloutis chaque heure, sans même un octet modifié (40Mo/h --> ~1Go/jour --> ~100 Go/trimestre). Il ne s'agit pourtant que de la seule place occupée par les dossiers recréés à chaque sauvegarde !

Copie le répertoire source, qui te pose problème, dans un répertoire de test et faits des manip avec celui-ci. L'idéal serait de créer un nouveau volume (s'il te reste de la place) comme cible, pour cette sauvegarde de test (sinon désactive les TimeBackup automatiques pour contrôler la situation de tes tests et de tes mesures).

J'ai un volume de 150Go avec un delta quotidiens de moins de 50Mo et au bout d'une semaine les 500Go de la partition cible sont pleins Quelle est le nombre de TimeBackup total pour arriver à 500Go ? De toute façon, il te faut faire des tests avec un répertoire de test, que tu modifieras volontairement, car à moins de connaitre exactement les modifs sources, tu ne peux pas finement analyser le problème depuis un répertoire utilisateur que tu contrôles mal. (Faire les tests avec des TimeBackup manuels. Eviter les TimeBackup automatiques qui risquent de prendre au dépourvu) Au vus de cette conversation j'ai lancé via batch une commande pour retirer l'attribut lecture seul de tous les fichiers. Je m'aperçois que sur les 2 partages un contient effectivement des ACL Microsoft... je vais voir vu qu'elles ne sont pas utilisées pour les désactiver et voir si cela aide à résoudre mon problème Il ne s'agit certainement pas des ACL Microsoft mais de ceux du volume EXT3 ou EXT4 gérés par Linux, DSM et TimeBackup. Je n'ai pas trouvé de moyen pour l'instant pour obtenir la taille d'un répertoire en faisant abstraction des hard links.... Il me manque donc la possibilité de mener cette observation à bien ... Avec " Gestionnaire de stockage", tu regardes la place restante ou utilisée (choisir celui où les unités sont en Mo, s'il y en a un). Tu notes avant et après le TimeBackup. Maintenant, merci de nous faire part de tes observations. P.S. Evidemment, le TimeBackup doit être fait en mode "Déverrouillé", sinon tu recopies les fichiers (et non les hard links).

Hasard ou communication de pensée, pour vérifier que le patch, que m'avait fourni Synology, était ou non intégré à la dernière version de TimeBackup, je viens de faire, ce matin, un test sur une nouvelle installation: 100 000 fichiers de 1ko répartis dans 100 répertoires de la racine (ils utilisent 102,4 Mo sur le disque utilisateur du syno). Je lance un 1er TimeBackup vers le disque de sauvegarde: Bizarrement, après cette 1ère sauvegarde, mon volume de sauvegarde perd 395,28 Mo ! (exactement comme à l'instant précédant l'effacement des 104, 857 600 Mo de l'image disque, qui n'est donc peut-être pas réellement effacée mais cachée ???) (Mais, pour Windows, seuls 102,4 Mo sont utilisés par le nouveau dossier de sauvegarde). Si je ne modifie aucun des fichiers utilisateurs, les TimeBackup suivants font perdre 4,3Mo par sauvegarde à mon volume de sauvegarde (pourtant la création des 100 répertoires n'aurait du lui faire perdre que 0.4 Mo) Les 4 Mo de mangés ici, à chaque TmeBackup, sont bien inférieurs aux problèmes que j'indiquais, il y a quelques mois. Les "Hard Links" ne devraient pourtant pas consommer un seul octet !!! (les 4 Mo pourraient correspondre à un "Log" caché: le listage des chemins internes occupant ~4Mo) Quels sont tes propres observations ?

En effet, /TEE donne la même chose que /log. Je ne l'utilise ici que pour alimenter un 2ème Log incluant l'ensemble des sauvegardes (%JOURNAL%). %RAPPORT% est le Log (dont le nom est daté) spécifique à chaque sauvegarde. J'aurais dû traduire ces 2 variables: RoboCopy PARISen_cours" C:_en_cours" /S /E /PURGE /FFT /XD "#recycle" "C:__" "C:_" /XJ /R:0 /W:1 /TS /NDL /NP /Log+:"c:sauvegardes2013-04-05 a 12h 00mn 00s" /TEE>>"c:sauvegardesJOURNAL.txt" --- Je conclus de ton message précédent que les fichiers non copiés étaient donc indiqués spécifiquement, dans ton Log, comme copiés. C'est étonnant. A l'exception d'ambiguïtés avec les noms courts ou comportant des caractères spéciaux, je n'ai jamais eu ce type d'incohérence. Une chose m'intrigue, 75SrvNas1sauv4-jeudiZoneSud n'est pas un disque virtuel d'un PC sur le NAS !!! Par ailleurs, 75SrvFic1e$ est certainement le disque d'un PC en "partage administratif". Pour éviter un double flux réseau, pourquoi ne pas réaliser les sauvegardes depuis ce PC ?

J'extrait ici ta ligne de commande et recopie ton log avec correction des accents: robocopy 75SrvFic1e$ZoneSud 75SrvNas1sauv4-jeudiZoneSud /R:2 /W:5 /MIR /ZB /NFL /NDL /LOG:e:Rapport-4-jeudi-ZoneSud.log /COPY:DAT Total Copié Ignoré Discordance CHEC Extras Rép: 161059 459 160600 0 0 0 Fichiers: 1272952 12649 1260303 0 0 0 Octets: 270.523 g 8.216 g 262.307 g 0 0 0 Heures: 03:12:19 03:07:05 0:00:00 00:05:14 Débit: 2433561 Octets/sec. Débit: 139.249 M‚ga-octets/min. Terminé: Fri Apr 05 01:12:43 2013 ---- Question: /COPY:DAT ne copie pas les ACL. Je croyais que tu voulais les copier ? Voici ma propre ligne de commande et un Log avec erreur (ils me semblent mieux permettre de connaitre ce qui s'est passé pour chaque fichier): RoboCopy "%SOURCE%%DIR_%" "%CIBLE%%DIR_%" /S /E /PURGE %NTFS_% /FFT %XF_% %XD_% /XJ /R:0 /W:1 /TS /NDL /NP /Log+:%RAPPORT% /TEE>>%JOURNAL% n.b. "%SOURCE%%DIR_%" = Chemin source "%CIBLE%%DIR_%" = Chemin cible (disque local ou serveur) %NTFS_% = /COPYALL ou vide (ACL ou pas) %XF_% = /XF+fichier(s) exclu(s) %XD_% = /XD+dossier(s) exclu(s) Les utilisateurs n'ayant pas d'accès au répertoire cible, je ne recopie généralement pas les ACL (/S n'a à priori aucun rôle du fait de /E mais je le garde pour revenir éventuellement au seul /S) (cette sauvegarde n'est pas incrémentale. C'est une autre procédure qui sauvegarde les anciens fichiers dans un répertoire daté) Soit ici: RoboCopy PARISen_cours" C:_en_cours" /S /E /PURGE /FFT /XD "#recycle" "C:__" "C:_" /XJ /R:0 /W:1 /TS /NDL /NP /Log+:%RAPPORT% /TEE>>%JOURNAL% ##################################################################################################################### Sauvegarde de DOCUMENTS, en_cours, le 05-04-2013 a 12h 00mn 00s: Profil= C:SAUVEGARDESCONFIGPARIS sur C)_.sauve PARISen_cours vers C:_en_cours (sans d'attributs NTFS) ------------------------------------------------------------------------------- ROBOCOPY :: Robust File Copy for Windows :: Version XP010 ------------------------------------------------------------------------------- Started : Fri Apr 05 12:00:23 2013 Source : PARISen_cours Dest : C:_en_cours Files : *.* Exc Dirs : #recycle C:__ C:_ Options : *.* /FFT /TS /NDL /TEE /S /E /COPY:DAT /PURGE /NP /XJ /R:0 /W:1 ------------------------------------------------------------------------------ *EXTRA File 44 2013/04/05 07:58:53 C:_en_cours1111111 aaaaaa03_APD02_DWG02_130404_aaaaaa_RDC.dwl *EXTRA File 194 2013/04/05 07:58:53 C:_en_cours1111111 aaaaaa03_APD02_DWG02_130404_aaaaaa_RDC.dwl2 Newer 988677 2013/04/05 09:24:41 PARISen_cours1111111 aaaaaa03_APD02_DWG02_130404_aaaaaa_RDC.bak Newer 1.0 m 2013/04/05 09:26:11 PARISen_cours1111111 aaaaaa03_APD02_DWG02_130404_aaaaaa_RDC.dwg Newer 3002 2013/04/05 09:28:20 PARISen_cours1111111 aaaaaa03_APD02_DWGplot.log Newer 9.6 m 2013/04/05 09:49:52 PARISen_cours1111111 bbbbbbbbbbb*03_APS01_dwgddddddddd RDC.bak Newer 9.6 m 2013/04/05 09:55:20 PARISen_cours1111111 bbbbbbbbbbb*03_APS01_dwgddddddddd RDC.dwg Newer 46 2013/04/05 09:55:11 PARISen_cours1111111 bbbbbbbbbbb*03_APS01_dwgddddddddd RDC.dwl Newer 196 2013/04/05 09:55:11 PARISen_cours1111111 bbbbbbbbbbb*03_APS01_dwgddddddddd RDC.dwl2 New File 0 2013/04/05 09:57:57 PARISen_cours1111111 bbbbbbbbbbb*03_APS01_dwgsav57C4.tmp 2013/04/05 12:01:30 ERROR 32 (0x00000020) Copying File PARISen_cours1111111 bbbbbbbbbbb*03_APS01_dwgsav57C4.tmp Le processus ne peut pas accéder au fichier car ce fichier est utilisé par un autre processus. *EXTRA File 44 2013/04/05 07:47:21 C:_en_courseeeeeeee07_PC02_dwg02_130211_PROJET_02.dwl *EXTRA File 194 2013/04/05 07:47:21 C:_en_courseeeeeeee07_PC02_dwg02_130211__PROJET_02.dwl2 ------------------------------------------------------------------------------ Total Copied Skipped Mismatch FAILED Extras Dirs : 4912 0 4912 0 0 0 Files : 112023 7 112015 0 1 4 Bytes : 93.350 g 21.23 m 93.329 g 0 0 476 Times : 0:01:09 0:00:00 0:00:00 0:01:08 Speed : 22648616 Bytes/sec. Speed : 1295.964 MegaBytes/min. Ended : Fri Apr 05 12:01:32 2013 _____________________________________________________________________________________________________________________ ERREUR(s) de COPIE(s) durant la sauvegarde de "en_cours" ##################################################################################################################### Fin des sauvegardes de DOCUMENTS, en_cours, commencees le 05-04-2013 à 12h 00mn 00s. ##################################################################################################################### #####################################################################################################################

En effet, c’est bien bizarre (problème de cache ??? jonctions ???). As-tu pu reproduire le problème ? Quelle est ta ligne de commande pour Robocopy ? Peux-tu recopier ici quelques lignes inexactes du Log ? Le total copié (en fin de Log) donnait il quelque chose de réel ou d'inexact comme le Log ?