Stratégie de sauvegarde

[isosk8]

Bonjour,

Je viens vers vous pour trouver conseil et expertise

Je suis actuellement en train de mettre en place une sauvegarde des données présentes sur mon syno ds215j vers un 115j, tout deux aujourd'hui branchés en gigabit sur ma freebox. Le 115j sera à terme sur un site distant.

J'ai commencé à créer des taches de sauvegarde via le menu "sauvegarde et réplication" avec comme destination de sauvegarde "serveur synology".

Première question : si j'ai bien compris, ces taches utilisent Rsync c'est bien ça ?

ça fonctionne plutôt bien. Cependant ce qui m'inquiète c'est le temps que cela prends. Je comprends bien que le temps d'effectuer la liste des mises à jours peut être long mais le taux de transfert une fois cette étape passée n'est que de 2 Mo/s. En faisant une simple copie via filestation (NFS) le taux est de plus de 40 Mo/s.

Avez-vous une explication ?

Le taux de transfert serait-il meilleurs si j'utilisais Rsync en ligne de commande directement ?

Merci d'avance pour vos réponses.

 

 

 

[Fenrir]

C'est bien rsync qui est utilisé, en l'utilisant directement tu pourras peut être améliorer un peu les choses, mais pas d'un facteur 20.

Quand tu dis que tu fais 40Mo/s en NFS, c'est bien entre les 2 nas ?

Regarde du coté de la cpu des nas

A noter aussi que tu ne feras jamais 40mo/s avec des petits fichiers, dit autrement, ne regarde pas le débit mais le temps total.

Pour finir, sauf à avoir la fibre, tu ne feras pas du 2mo/s via Internet

 

Modifié le 8 septembre 2015 par Fenrir

[isosk8]

C'est bien rsync qui est utilisé, en l'utilisant directement tu pourras peut être améliorer un peu les choses, mais pas d'un facteur 20.

Quand tu dis que tu fais 40Mo/s en NFS, c'est bien entre les 2 nas ?

Regarde du coté de la cpu des nas

A noter aussi que tu ne feras jamais 40mo/s avec des petits fichiers, dit autrement, ne regarde pas le débit mais le temps total.

Pour finir, sauf à avoir la fibre, tu ne feras pas du 2mo/s via Internet

 

Merci pour ta réponse rapide.

Oui quand je dis NFS c'est bien entre les deux Nas en question.

Le CPU des NAS est utilisé à moins de 50% quand je n'ai qu'une tache de sauvegarde en cours. Naturellement, il grimpe très quand en plus j'ajoute une copie fichier (qui est en cours actuellement).

Effectivement, je sais qu'à sauvegarder des petits fichiers le débit n'est pas significatif. Mais j'ai le même problème lors de la sauvegarde de films. Il y a donc réellement un différentiel entre la sauvegarde et la copie brut.

Pour finir, la cible est déjà en fibre et je dois y passer début d'année prochaine. Une fois la grosse sauvegarde faîte le différentiel de fichiers ne sera pas conséquent et pourra être fait pas internet même si ça prend un peu plus de temps. Je ne veux juste pas avoir besoin de trois jours pour copier 100 Mo

[PiwiLAbruti]

Si les CPU sont à 50%, ça veut dire 100% de charge sur un seul core du DS215j (le DS115j est mono-core).

Le débit montant en ADSL est de 125Ko/s dans le meilleur des cas.

[isosk8]

Si les CPU sont à 50%, ça veut dire 100% de charge sur un seul core du DS215j (le DS115j est mono-core).

Le débit montant en ADSL est de 125Ko/s dans le meilleur des cas.

Merci pour ton aide.

Pour le moment je suis en réseau local, donc on s'affranchit du débit ADSL.

Copie de Nas à Nas => 40 Mo/s

Sauvegarde de Nas à Nas => 2Mo

Je dis juste que la différence me parait énorme. Les taux de transfert ont été mesurés sur les mêmes fichiers.

Il y a t-il un mécanisme de Rsync faisant que la copie de fichiers est très lente ?

[Fenrir]

1. Lance un "top" en ssh sur les 2 syno et regarde les process qui consomment le plus de ressources (cpu/ram) et la charge générale (les 3 valeurs de load)
2. démarre une sauvegarde
3. pendant que ça tourne, fais quelques relevés des valeurs dans top

En passant, si tu as activé le chiffrement de la sauvegarde (ce qui sera recommandé via Internet), le débit peut en prendre un sacré coup, de plus il me semble que depuis quelques versions, par défaut le backup rsync se fait au travers de SSH, donc ça pénalise aussi les perfs (tout le contraire de NFS, aka NoFileSecurity avant la v4)

Sinon rien ne t’empêche de tester directement avec rsync.

Si les perfs sont bien meilleurs avec rsync directement, essaye en montant un tunnel vpn entre les 2 syno, ça sera peut être meilleurs qu'avec ssh tout en gardant un bon niveau de sécurité

[isosk8]

1. Lance un "top" en ssh sur les 2 syno et regarde les process qui consomment le plus de ressources (cpu/ram) et la charge générale (les 3 valeurs de load)
2. démarre une sauvegarde
3. pendant que ça tourne, fais quelques relevés des valeurs dans top

En passant, si tu as activé le chiffrement de la sauvegarde (ce qui sera recommandé via Internet), le débit peut en prendre un sacré coup, de plus il me semble que depuis quelques versions, par défaut le backup rsync se fait au travers de SSH, donc ça pénalise aussi les perfs (tout le contraire de NFS, aka NoFileSecurity avant la v4)

Sinon rien ne t’empêche de tester directement avec rsync.

Si les perfs sont bien meilleurs avec rsync directement, essaye en montant un tunnel vpn entre les 2 syno, ça sera peut être meilleurs qu'avec ssh tout en gardant un bon niveau de sécurité

Merci pour toutes ces précisions !

En effet j'ai activé le chiffrement vu que tout va passer par Internet. C'est peut être ça.

J'allais tester Rsync mais via ssh, cela ne devait pas améliorer les perf d'après ce que tu dis.

Je ferai des test en montant un vpn pour voir.

Encore merci ...

[gaetan.cambier]

c le cryptage qui tue tout :

https://www.synology.com/en-global/products/performance#1_bay (les 2 baies ont les meme perf)

le vpn, en pptp oui, mais il n'est plus secure sachant que le cryptage est a base de rc4 :s

l'ipsec, tu peux oublier, ca sera pas plus rapide

le meilleure serait p-e en openvpn, en precisant le cipher à utiliser (3des est toujours secure et assez rapide)

 

[Fenrir]

Il y a 2 choses à distinguer :

• chiffrement du transfert : les données sont en clair, mais dans un tuyau chiffré (ssh, vpn, ...)
• chiffrement des données : les données elles mêmes sont chiffrées dans le tuyau

Le premier point fait baisser les perf, mais de manière raisonnable normalement (je n'ai pas de test sur des cpu alpine), par contre le second est souvent un perf killer

Pour le VPN :

• oubli pptp : autant ne pas chiffrer, tu auras le même niveau de sécurité sans les inconvenients
• IPsec : ce n'est pas nécessairement mauvais en perf et ça à l'avantage d'être standard (perso c'est ce que j'utilise)
• OpenVPN : j'aime beaucoup, mais pour transférer des données, je te recommande de le passer en TCP et de désactiver la compression

[gaetan.cambier]

je n'ai pas de test sur des cpu alpine

pourquoi alpine ? c'est de l'armada 375 et 370 chez lui

à la fois, qd on repond à 1h de mat

[Fenrir]

pourquoi alpine ? c'est de l'armada 375 et 370 chez lui

à la fois, qd on repond à 1h de mat

je ne sais pas pourquoi mais j’avais en tête qu'il utilisait un 215+ ...

Donc je reformule, je n'ai pas de test sur des cpu alpine ou armada, je ne sais pas ce qu'ils ont dans le ventre

[HS]pour ce qui est de l'heure, je suis entrain de migrer des infras en hno, donc je suis "légèrement décalé" (10h de décalage), je post ici entre 2 taches un peu longue ou pour le temps de réfléchir à un truc[/HS]