Compréhension du stockage

[julien.madec]

Hello !!

Je possède un NAS DS214 Play installé avec 2 disques de 2 To (Western Digital WD20EFRX Red).

Ce Nas est utilisé pour du stockage de données vidéo et en tant que média player avec Plex.

J'ai créé un seul volume en SHR avec protection de données => 2 To de volumétrie totale (donnée redondée).

 

Dans Storage Manager, la volumétrie utilisée est de 1,14 To (reste uniquement 663 Go de libre).

En revanche quand je regarde les propriétés de tous les fichiers dans File Manager, ou via l'explorateur Windows, je ne trouve que 690 Go de données.

Je ne comprends pas d'où peut provenir une telle différence ? À moins que ce ne soit lié au système et/ou à Plex mais ça me paraît énorme...

 

Quelqu'un aurait une explication ?

Merci :)

[unPixel]

Bonjour,

Le passage par la case "Présentation" pour les nouveaux membres est demandée par le staff 😉

Sinon, tu pourrais lister tous les paquets utilisés et/ou installés stp ? Il est possible que tu es un paquet qui fait de la sauvegarde cachée appelée "versionning" et que ça prenne de la place.

 

[julien.madec]

Bonjour,

Présentation faite ! 😄

Ça pourrait venir de là vu que j'ai installé Synology Cloud Station Backup.

Un conseil sur sa configuration pour limiter le versioning et donc l'espace utilisé ?

Je ne suis pas à domicile donc je ne peux pas vérifier la liste de tous les packages installés mais de mémoire j'ai limité à ceux livrés avec le Syno (j'ai même désactivé ceux qui ne me servaient pas) et j'en ai installé 2 supplémentaires : Plex server et Synology Cloud Station Backup.

 

Merci en tous cas pour l'idée 👍

[Mic13710]

C'est de toute évidence CSBckp qui est le fautif. Vous pouvez limiter voire supprimer le versionning dans les paramètres de votre sauvegarde. Mais ce serait aussi perdre un des gros intérêts de CSBckp. Autant dans ce cas abandonner ce paquet et vous tourner vers une solution comme Syncback.

[unPixel]

CloudStation Backup ne fait pas de versionning, si ?!

Pas dans mes souvenirs en tout cas puisqu'il n'est pas un service de synchronisation mais plutôt de sauvegardes à proprement parler en sauvegardant des dossiers provenant d'un ordinateur.

Sinon, comme le dit Mic, tu peux te rabattre sur Syncback free qui fera aussi le job de ce que tu veux faire. La seule différence  est que le logiciel (serveur et client à la fois) sera sur ton ordinateur.

Modifié le 24 juillet 2018 par InfoYANN

[Brunchto]

il fait un backup, mais comme il s'appuie sur cloudstation / drive... on a plusieurs versions

et le versionning, c'est important...

avec une sauvegarde sans versionning, un coup de crypto sur le poste, sauvegarde auto, et hop, plus de data

Modifié le 25 juillet 2018 par Brunchto

[unPixel]

Mouais. Je suis d'accord avec toi mais bon, le soucis restera toujours le même... Un crypto qui se lance, ça veut dire que c'est une personne naïve qui l'a lancé lui même et dans les statistiques, ces crypts sont principalement lancés depuis un mail avec pièce jointe.

 

J'ai par exemple pour habitude de surveiller mes spams pour m'assurer de pas louper un mail important et j'ai dernièrement reçu un crypto. En voyant la pièce jointe, je me suis douté de ce que ça allait être et j'en ai eu la conirmation sur une machine virtuelle. Oui, je voulais m'amuser un peu 🤣

 

C'est aussi pour ça que je fais des sauvegardes journalières à un endroit et des sauvegardes hebdomadaires à d'autres endroits. Au moins, si je choppe une merde de ce genre, je sais que je peux rebondir  quand même.

[Mic13710]

Il y a 10 heures, InfoYANN a dit :

CloudStation Backup ne fait pas de versionning, si ?!

Bin oui. Jusqu'à 256 par défaut. C'est là tout son intérêt : de pouvoir récupérer les données à une date précise. Et comme le fait remarquer Brunchto, ça peut permettre de retrouver ses données intactes en cas d'attaque crypto.

Il y a donc un dossier @cloudstation qui grossi, ce qui peut poser un problème de stockage. D'où l'intérêt du BTRFS par rapport au EXT4.

[unPixel]

Tu confondrais pas avec CloudStation Server ? CloudStation Backup, c'est pour faire des sauvegardes d'un ordinateur et non la synchronisation comme CloudStation Server.

 

Et il est là aussi le soucis, c'est que Synology fait un amalgame avec tous ces noms qui se ressemble car je viens de taper dans Google CloudStation Backup et je suis tombé sur la page de CloudStation SERVER... Il faut aller dans les entrailles du site pour voir la page de CloudStation Backup qui ne parle d'ailleurs pas de versionning.

[Mic13710]

Je ne confonds rien du tout. Le principe de fonctionnement reste similaire à CSDrive, mais la synchro est unidirectionnelle. Rien n'empêche de faire du versionning sur des sauvegardes ! Et pour info, j'utilise CSBkup comme solution de sauvegarde des PC de l'entreprise de mon frère. Perso, je suis encore à Syncback, plus par habitude qu'autre chose, mais aussi parce que mon NAS de travail n'a plus beaucoup de place pour ce genre d'appli. Mais je le mettrai en place dès que j'aurais changé de NAS.

[unPixel]

CloudStation Backup (sur PC) utilise CloudStation Server (sur NAS) pour se connecter et avoir les droits ?! Je me souviens plus car ça fait un bail que je suis sur Syncback PRO.

Modifié le 25 juillet 2018 par InfoYANN

[Mic13710]

Oui. C'est le même paquet sur le NAS. C'est aussi le même dossier Cloudstation de l'utilisateur, simplement il y a deux dossiers : un Drive pour CSDrive et un autre Backup pour CSBackup

[unPixel]

Ça a changé car je me souviens pas que c'était comme ça au départ de l'application ?!

[Mic13710]

Peux pas dire, je n'ai installé DSM6 que très tard sur mon NAS et c'était comme ça à mon installation.

[unPixel]

Ok. Pas dans mon souvenir mais c'est peut-être moi qui me plante.

[julien.madec]

Merci pour ce débat intéressant 🙂

 

Je viens de vérifier tous les packages installés sur mon syno : Plex Media Server, File Station, Antivirus Essential, OAuth Service, Universal Search, Cloud Station Server.

Dans les paramètres de Cloud Station Server, la taille indiquée de la base de données est 360 Go.
J'arrive donc à 1,05 To, le reste (environ 90 Go doit être le système du NAS + les autres paquets).

 

J'étais paramétré par défaut à 32 versions. J'ai diminué à 16 on verra ce que ça donne.
Merci pour toutes vos explications.

[unPixel]

16, c'est encore beaucoup selon la taille des dossiers.

Il faut bien se dire que c'est 16xtes dossiers. Si le tout fait 10 Go, ça fait déjà 160 Go en versionning...

Modifié le 26 juillet 2018 par InfoYANN

[Mic13710]

il y a une heure, julien.madec a dit :

J'étais paramétré par défaut à 32 versions. J'ai diminué à 16 on verra ce que ça donne.

 

il y a 36 minutes, InfoYANN a dit :

Il faut bien se dire que c'est 16xtes dossiers. Si le tout fait 10 Go, ça fait déjà 160 Go en versionning...

Je ne suis pas du tout d'accord avec InfoYANN sur le coup. Désolé, mais ça ne fonctionne pas tout à fait de cette manière. Il n'y a pas 16 ou 32 versions d'un même fichier mais seulement un fichier et ses modifications. Sur la restauration, on part du fichier de base auquel on ajoute les modifs d'une version à l'autre.

Si on sauvegardait intégralement toutes les versions, le NAS serait très rapidement submergé !

C'est donc la première version d'un fichier qui tient le plus de place. Réduire de 32 à 16 n'impactera pas les versions existantes mais sera seulement appliqué aux nouvelles versions. Le dossier ne va donc pas réduire comme ça par enchantement. Enfin, cette réduction ne réduira pas de moitié le stockage nécessaire. Tout juste quelques pourcents ce qui n'est pas grand chose.

[unPixel]

Je sais pas trop en faite mais quand j'avais dépanné un mec via teanviewer, ça faisait le compte de son dossier. J'avais fait le calcul sur son écran avec sa calculette Windows pour  lui montrer que le dossier caché comptait exactement 32xson dossier. Et le calcul était bon !

 

Quant aux anciennes versions, j'ai toujours recommandé qu'il fallait passer par SSH pour les enlever et repartir au propre.

Modifié le 26 juillet 2018 par InfoYANN

[Mic13710]

Prenons un cas concret : le mien.

La totalité de mes fichiers et dossiers CS pèse 55Go. Mon dossier @cloudstation est lui à 152Go. C'est beaucoup, mais ce dossier existe depuis au moins 4 ans (il est en réalité plus vieux puisqu'il provient d'une migration). Au moins 30% des fichiers ont atteint ou largement dépassé les 32 versions, beaucoup d'autres ont été depuis supprimés mais sont encore disponible à la restauration.

Bref, si je considère ne serait-ce que 10% des dossiers existants ayant 32 versions, mon dossier @cloudstation pèserait 54  + (5.4 x 31) = 221Go. On est loin des 152Go actuels. Et encore, ce calcul exclu les fichiers avec moins de versions et ceux qui ont été supprimés.

A noter que mon NAS est en EXT4. En BTRFS, le dossier de version serait quasiment vide. Je ne sais même pas s'il y en a un ... https://www.synology.com/fr-fr/dsm/Btrfs

A noter aussi que le versionning d'Hyperbackup fonctionne sur le même principe. Heureusement qu'on ne sauvegarde pas l'intégralité des fichiers modifiés car au bout de 256 versions, il faudrait un sacré volume de stockage !

[unPixel]

Bah écoute c'est bizarre nos différences constatées. Et je ne peux en dire plus car de mon côté, je l'ai désactivé et je gère de mon côté les sauvegardes. J'ai juste eu cette expérience de dépannage à distance ou ce qu'il manquait en stockage à la personne correspondait parfaitement comme je l'ai décrit ci-dessus.

[Mic13710]

Puisque tu as un NAS en BTRFS, ça ne te couterait rien d'essayer.

[unPixel]

Peut-être à l'occasion... Au pire, tu as raison, je vais l'activer pour voir.

 

EDIT : activé sur un dossier avec 10 en versionning.

Modifié le 26 juillet 2018 par InfoYANN

[julien.madec]

Hello,

Le 26/07/2018 à 13:37, InfoYANN a dit :

Quant aux anciennes versions, j'ai toujours recommandé qu'il fallait passer par SSH pour les enlever et repartir au propre.

Pour ceux qui ne sont pas très doués en linux, pour remettre au propre il faut aller dans quel répertoire / supprimer quel fichier ?

 

Le 26/07/2018 à 15:27, Mic13710 a dit :

Puisque tu as un NAS en BTRFS, ça ne te couterait rien d'essayer.

Ca a l'air intéressant ce nouveau système de stockage. Malheureusement pas disponible sur mon DS214 Play. Trop vieux... 🙂

[unPixel]

Bonjour,

Il faut supprimer  le dossier @CloudStation qui se trouve dans volume1.

Modifié le 29 juillet 2018 par InfoYANN