Espace disque réel occupé par le BTRFS

[marcien]

Bonjour,

le wiki du BTRFS indique que cela consomme beaucoup d'espace de metadata par rapport à du EXT4 : le ratio est sensé être de 50% !?!?

Quel est l'espace disque réellement occupé par 1000 fichiers de 1 Mo ?
En EXT4, cela occupe 1 Go, mais est-ce que en BTRFS cela va prendre 2 Go ? Plus ? Moins ?

Auriez-vous des chiffres réels ? Espace occupé dans un Volume par rapport à la volumétrie réélle des fichiers  ?
Quels sont les paramètres influants sur le ratio ? Est-il fixe ? Dépend-il du nombre de fichiers ? ... ?

Merci.

 

[Einsteinium]

Il me semble de mémoire que cela n'est qu'un résidus lors d'une conversation ext vers btrfs qui garde un instantané et double donc la taille en metadata certes, mais cela n'arrivera pas sur nos synology, la migration n'étant pas possible.

[marcien]

Là, je suis sur le point de formater mon DS1815+, pour le passer en DSM6.1 "prochaine update", et donc, pourquoi pas créer les Volume en BTRFS, qui semble être le successeur de l'EXT4...

De +, je suis en RAID6 sur 8 disques, que je trouve nettement moins réactif que la version que j'avais avant : 2 RAID de 4 DD. Et j'occupe 80% des 18 To (j'ai 12 ans d'archives... Oui, je garde tout...)

=> je voudrais être sûre que je ne vais pas manquer de place, à cause des metadata BTRFS... D'ou mon Post !

[Einsteinium]

Oui aucun soucis, je n'occupe pas plus de place que mes fichiers stockés ;-)

[marcien]

Je relance, car je vais basculer ce week-end, et j'aurais bien aimé être rassuré ou alerté...

L'opération sur mon DS1815+:

- passage du DSM 6.0 -> 6.1 par formatage complet

- repassage de RAID6 sur 8 DD, à 2 RAID5 sur 4DD (pour les perfs en local)

- les 2 Volume en BTRFS

Modifié le 20 mars 2017 par marcien
validation du post avant de le finir...

[Fenrir]

C'est nettement plus complexe que tu ne le penses de calculer la taille de l'espace non accessibles aux utilisateurs. Les metadatas c'est une chose, mais il faut aussi tenir compte du journal, de la fragmentation, des snapshots, ...

Les metadatas en ext4 ce n'est pas 0 mais au moins 32bits, en btrfs c'est au moins 64bits (en pratique c'est plutôt 256bits réservés).

Mais dans un cas comme dans l'autre, c'est configurable, gérable et TRÈS variable.

Il faut considérer que plusieurs % seront non accessibles à l'utilisateur (3% à 10% en moyenne). Si le système de fichier bouge bcp, on peut compter en dizaines de % (mais ça se purge - "balance"), peu importe le système de fichier.

Par contre ce qui est important de retenir, c'est que cet espace permet plein de choses qui font gagner énormément de place, comme les snapshots, la compression, la déduplication, ... au final on ne perd pas grand chose (voir on en économise) par rapport à l'ext4 tout en gagnant en vitesse et en fiabilité.

[marcien]

Oui, ça n'a pas l'air si simple coté calcul !

D'après ce que tu dis, il doit y a voir des options !?! La doc ne donnent que 2 choses : le nettoyage (vérif des fichiers), et le defrag du system (qui, je crois , reste en Ext4).

Si les nouveaux Volumes sont créés par défaut en BTRFS, ca doit l'être "l'avenir"... Donc, top à la vachette sur le BTRFS pour mon formage...

Je pourrais vous donner la différence en terme d'occupation entre mon 1815+ (qui va passer en BTRFS) et mon 1512+ (qui va rester en Ext4, le temps du restore).

[Fenrir]

Pour l'aspect configuration, je ne pense pas que Synology ait prévu la chose, je pense qu'ils ont opté pour des réglages "standards". Ma réponse était plus général, je parlais uniquement de BTRFS, pas de l'implémentation qu'en a fait Synology.

Pour ce qui est de la différence de taille, elle ne sera pertinente qu'après des semaines voir des mois d’utilisation.

[Mic13710]

il y a une heure, marcien a dit :

Je pourrais vous donner la différence en terme d'occupation entre mon 1815+ (qui va passer en BTRFS) et mon 1512+ (qui va rester en Ext4, le temps du restore).

Ca ne peut pas être un indicateur de l'occupation réelle. Il ne faut pas oublier les dossiers cachés qui peuvent être parfois conséquents. Je pense à cloudstation notamment dont la taille varie considérablement selon l'historique des fichiers.

Comme le fait remarquer Fenrir, il faudrait que les deux NAS aient tourné pendant quelques mois à faire rigoureusement les mêmes opérations sur les dossiers avant de pouvoir faire une comparaison valable entre les deux systèmes.

[Einsteinium]

Après quelques mois cela sera volume btrfs qui gagne si on utilise cloud station et instantané, en dehors de sa les metadata doublé qui te font peur, sont celle qui inclus nom de fichier et cie, qui ne pèse rien du tout. (Voir un doublement si conversation depuis ext4, Mais se ne sera pas le cas ici)

Bref tu perdras pas d'espace, Mais en gagnera juste 

[marcien]

Pour avoir une idée de l'occupation : je regarderai la taille dispo dans mes 2 Volumes. Je copierai un gros ensemble de fichiers (de taille allant de qques Ko a des dizaines de Go), dont je connais la taille exacte. Et je regarderai l'espace dispo dans les 2 Volume.

Une soustraction, et j'aurais une première réponse, sur une copie statique...

 

ps : hier, j'ai vu que j'étais un stagiaire de 1ère année devant aller chez afflelou... Mon 1815+ est déjà en BTFRS, car j'avais créer le RAID6 en DSM 6.0... Et je n'ai pas vu de différences grossières entre le 1815+ et le backup dans mon 1512+ (qui est en Ext4)... Donc les Metadonnées BTFRS ne doivent pas être si énorme que cela !

[Mic13710]

Il y a 2 heures, marcien a dit :

Mon 1815+ est déjà en BTFRS, car j'avais créer le RAID6 en DSM 6.0...

Tant de bruit pour rien alors !

Je n'ai pas le BTRFS mais de ce que j'ai compris, les métadonnées ne sont pas vraiment gourmandes en espace disque et selon les applis (cloudstation par exemple parce que je la connais bien) la taille équivalente des métadonnées est considérablement moins importante que l'espace nécessaire pour le dossier caché en ext4.

[marcien]

Bon, j'ai les résultats en BTRFS...

J'ai copié 82.000 fichiers pour une taille de 10.3 To. Et cela occupe 10.6 To sur le Syno !

=> les metadata "coutent" donc environ 3% de la volumétrie des fichiers...

 

[Fenrir]

Le 20/03/2017 à 18:55, Fenrir a dit :

Il faut considérer que plusieurs % seront non accessibles à l'utilisateur (3% à 10% en moyenne)

Il y a 2 heures, marcien a dit :

=> les metadata "coutent" donc environ 3% de la volumétrie des fichiers...

[Einsteinium]

Je vais refaire le calcul pour voir, mais j'étais pas à 3% pour ma part, -1%.

Ou alors dsm inclus ses meta dans le calcul d'espace des dossiers..

[marcien]

Il faut bien comparer la taille d'un Volume, et la taille des fichiers qu'il héberge.

Attention, si le Cloud est activé, cela peut fausser les calculs...