VITESSE MAXIMUM DE TRANSFERT BASSE

[emontet4]

Bonjour à tous,

Suite à mon dernier sujet Link AGGREGATION, j'ai eu l'occasion de changer de nas par ma société. Je me suis dirigé vers un 2419+ en remplacement de mon 2415+ en y ajoutant une carte réseau 10gb SFP+ .

Aujourd'hui voici mon matériel :

SYNOLOGY 2419+ format shr2 + btrfs

PC avec Rog Zentith 2 Extreme (port 10gb ethenet) ssd  M2 CRUCIAL

Switch TP LINK T1700G-28TQ avec 4 ports SFP + 10 Gb

Lorsque je fait un transfert de données Syno vers PC j'ai une vitesse maxi de 210Mo/sec sur un fichier MKV

Lorsque je fait un transfert de données PC vers Syno j'obtiens une vitesse de 150 à 320 Mo/sec avec une vitesse très instable qui varie tout le temps et qui reste malgré tout plus proche des 200 Mo/sec sur un fichier MKV

 

Je trouve que la vitesse reste faible dans l'ensemble par rapport à ce qui est possible en regardant les différents tests. sauriez vous pourquoi?

 

Merci.

Modifié le 3 août 2020 par emontet4

[pluton212+]

Bonjour,

p-e que @GnuByte pourra te conseiller.

[PiwiLAbruti]

il y a une heure, emontet4 a dit :

SYNOLOGY 2419+ format shr2 + btrfs

Combien y a-t-il de disques et de quel type ?

Quel protocole est utilisé pour les tests de débit ?

[emontet4]

Alors effectivement je me suis rendu compte que j'ai oublié de préciser les disques durs sont des WD60efrx ou réferences équivalentes et ils sont au nombre de 12 (12 x 6To RED Western Digital)

Concernant le protocole, je ne sais pas c'est juste un simple copier coller par Windows 10 PRO.

[maxou56]

Il y a 3 heures, emontet4 a dit :

Je me suis dirigé vers un 2419+ en remplacement de mon 2415+ en y ajoutant une carte réseau 10gb SFP+ .

Bonjour,

Le changement de NAS était pour avoir le 10Gbit/s ??

Car les deux modèle ont des performances très très proche. (voir le comparatif DS918+ > DS2419+ > DS2415+)

https://www.cpubenchmark.net/compare/Intel-Celeron-J3455-vs-Intel-Atom-C3538-vs-Intel-Atom-C2538/2875vs3253vs3252

 

Plusieurs questions:

lors des tests, quelle était la charge du CPU du NAS et du PC (le 10Gbit demande pas mal de puissance)?

L'usage de la RAM?

Les dossiers sont chiffrés?

 

Quelle protocole était utilisé (SMB2, SMB3)?

La taille du MTU (1500-9000)?

 

Ensuite pour voir si il n'y a pas un problème sur le réseau faire des test avec par exemple iperf3 entre le PC et le NAS (test entre la RAM des 2, donc seul le réseaux et le CPU sont limitant)

 

Sinon:

Le SHR2 (=Raid6 avec des disques identiques) n'est pas très rapide, 320Mo/s ne me semble pas bizarre pour un RAID6 de disque dur (c'est ce que j'obtiens avec mon DS918+ en 5Gbit/s en SHR de 4DD de 4TB).

De plus dans le description du DS2419+ Synology indique 1716 Mo/s en lecture séquentielle et 671 Mo/s en écriture séquentielle donc même en RAID0 ou RAID10 ou avec des SSD, il est limité en débit (loin des 1200Mo/s théorique du 10Gbit/s).

[emontet4]

il y a 56 minutes, maxou56 a dit :

Bonjour,

Le changement de NAS était pour avoir le 10Gbit/s ??

Car les deux modèle ont des performances très très proche. (voir le comparatif DS918+ > DS2419+ > DS2415+)

https://www.cpubenchmark.net/compare/Intel-Celeron-J3455-vs-Intel-Atom-C3538-vs-Intel-Atom-C2538/2875vs3253vs3252

 

Plusieurs questions:

lors des tests, quelle était la charge du CPU du NAS et du PC (le 10Gbit demande pas mal de puissance)?

L'usage de la RAM?

Les dossiers sont chiffrés?

 

Quelle protocole était utilisé (SMB2, SMB3)?

La taille du MTU (1500-9000)?

 

Ensuite pour voir si il n'y a pas un problème sur le réseau faire des test avec par exemple iperf3 entre le PC et le NAS (test entre la RAM des 2, donc seul le réseaux et le CPU sont limitant)

 

Sinon:

Le SHR2 (=Raid6 avec des disques identiques) n'est pas très rapide, 320Mo/s ne me semble pas bizarre pour un RAID6 de disque dur (c'est ce que j'obtiens avec mon DS918+ en 5Gbit/s en SHR de 4DD de 4TB).

De plus dans le description du DS2419+ Synology indique 1716 Mo/s en lecture séquentielle et 671 Mo/s en écriture séquentielle donc même en RAID0 ou RAID10 ou avec des SSD, il est limité en débit (loin des 1200Mo/s théorique du 10Gbit/s).

Bonjour Maxou

Alors point par point ca donne ca:

J'ai changé de Nas car effectivement je voulais du 10Gb hormis ca, je ne me sert du Nas que comme unité de stockage securisé pour mon SERVEUR Plex. J'aurais preferé un gros processeur mais Synology n'a pas envie d'en sortir donc mon PC qui est une grosse machine reste constamment allumé.

Pour info sur le SYNO je n'ai que 4GO de Ram car mes 2 Barettes de 16GO sont en commande.

Pour l'usage du proceseur et de la Ram : Test sur un MKV 4K de 64GO sur un fichier non chiffré

1er TEST Copie SYNO Vers PC Vitesse Moyenne 190 à 200 Mo/Sec : Utilisation RAM SYNO : 25%;  Utilisation CPU Syno : entre 13 et 26% ; Utilisation CPU PC : 8% ; Utilisation Mémoire PC : 16%

2eme TEST Copie PC Vers SYNO Entre 140 et 320 Mo/Sec  (Plus proche des 200 en Moyenne): Utilisation RAM SYNO : 25%;  Utilisation CPU Syno : entre 23 et 37% ; Utilisation CPU PC : 2% ; Utilisation Mémoire PC : 14%

Concernant le protocole Je ne sais pas comment je peux voir ca et pour la taille du MTU je crois que c'est 1500 (par défaut).

Pour finir je suis tout a fait conscient que 671MO on est loin des capacités du 10GO mais c'est deja beaucoup mieux que mes perfs actuelles.

Modifié le 3 août 2020 par emontet4

[maxou56]

il y a 1 minute, emontet4 a dit :

la taille du MTU je crois que c'est 1500 (par défaut).

Tu peux essayer de le modifier pour voir si ça améliore un peu le débit (dans certain cas c'est l'inverse), par exemple 9000.

Il faut le modifier dans le NAS, dans le PC et l'activer dans le/les switch.

[emontet4]

il y a 11 minutes, maxou56 a dit :

Tu peux essayer de le modifier pour voir si ça améliore un peu le débit (dans certain cas c'est l'inverse), par exemple 9000.

Il faut le modifier dans le NAS, dans le PC et l'activer dans le/les switch.

Pour etre franc, je ne sais même pas à quoi ça sert le MTU. Donc parcourant les options de mon SYNO je sais ou je peux le modifier mais sur WINDOWS et sur mon switch je n'ai aucune idée de la ou je peux trouver ce réglage.

[maxou56]

il y a 2 minutes, emontet4 a dit :

je ne sais même pas à quoi ça sert le MTU. Donc parcourant les options de mon SYNO je sais ou je peux le modifier mais sur WINDOWS et sur mon switch je n'ai aucune idée de la ou je peux trouver ce réglage.

C'est la taille des paquets en octets. Sachant que chaque paquet contient des informations (encapsulation), donc plus les paquets sont gros, plus les débits sont important car il y moins de perte du à l'encapsulation.

Par contre sur un réseau instable ou qui ne gère les grand MTU, c'est contre productif.

 

Pour Windows je ne sais pas (je n'utilise pas windows)

Pour les switch, c'est Jumbo frame.

[emontet4]

il y a 23 minutes, maxou56 a dit :

C'est la taille des paquets en octets. Sachant que chaque paquet contient des informations (encapsulation), donc plus les paquets sont gros, plus les débits sont important car il y moins de perte du à l'encapsulation.

Par contre sur un réseau instable ou qui ne gère les grand MTU, c'est contre productif.

 

Pour Windows je ne sais pas (je n'utilise pas windows)

Pour les switch, c'est Jumbo frame.

Merci pour ton aide Maxou,

Je viens de faire les tests en réglant MTU sur 9K sur tous les appareils ce qui ne change rien du tout voir même fait baisser un peu.

Y aurait il autre chose à voir d'après toi?

[maxou56]

il y a 28 minutes, emontet4 a dit :

Y aurait il autre chose à voir d'après toi?

Pour voir si il n'y a pas un problème sur le réseau faire des test avec par exemple iperf3 entre le PC et le NAS (test entre la RAM des 2, donc seul le réseaux et le CPU sont limitant)

https://iperf.fr/iperf-download.php et pour le NAS soit via le Docker soit avec le paquet (http://www.jadahl.com/iperf-arp-scan/DSM_6.2/iperf_denverton-6.2_3.7-1.spk)

 

Pour voir les performances de la Raid SHR-2:

Si tu as par exemple un SSD (si 2 faire un RAID0 pour atteindre env 1Go/s)  de disponible l'installer dans le NAS en créant un Volume sur celui-ci et en copiant des données entre le SSD et le Groupe de stockage en SHR-2.

(Si c'est 320Mo/s c'est la limite de la RAID, si c'est env 500Mo/s c'est la limite du SSD...)

 

Sinon éventuellement mettre en place un cache (en lecture seul ou en lecture/écriture).

Ou changer le type de RAID, par exemple le RAID10 est plus performant.

Ou créer un autre Groupe de stockage par exemple avec des SSD (voir même par exemple en RAID0 avec un backup des données toutes les heures sur la Raid SHR-2) pour les données qui ont besoins de gros débits.

 

Cache avec des SSD en SATA (donc limité à env 500Mo/s) car l'emplacement pcie est déjà pris par la carte 10Gigabit.

Ou via la carte 10Gigabit Ethernet + cache SSD M.2 (SSD M.2 pcie nvme, attention pas M.E SATA)

https://www.synology.com/fr-fr/products/E10M20-T1#features

Modifié le 3 août 2020 par maxou56

[GnuByte]

@pluton212+

On m'appelle ? J'arrive !

Je lance donc des benchs. Ma station, qui stocke la copie du fichier, est une machine Linux AMD Ryzen R0 3900XT avec 128Go de RAM DDR4 Corsair 3600MHz. 

Je pars d'un NAS 1819+ à Jumbo frames 9000 octets activées - 16Go, une grappe SHR 1 ext4 de 5 disques 14To Seagate IronWolf. Je copie un fichier de 74Go.

Si je fais une copie depuis le dossier partagé vers un disque NTFS SSD en SATA3 (un Crucial 512Go de mémoire), la vitesse indiquée par Windows 10 Pro est de 262Mo/s, soit 2096Mbps.

Si je fais une copie depuis le NAS vers un volume linux chiffré LUKS en mode sévère, ça met 2'22s, soit 550Mo/s en moyenne, soit 4400Mbps.

Si je fais une copie vers un volume /tmp en tmpfs de 80Go, en RAM DDR4 3600MHz, ça donne 82s, soit 906,2Mo/s, soit 7250Mbps.

Le problème, c'est Windows. 

Mais non je ne l'ai pas dit. 

Comment on active les Jumbo Frames ?

Panneau de configuration/Réseau/interfaceRéseau/LAN (5, chez moi, l'interface 10GbE)/Modifier/Configurer manuellement la caleur de la MTU/ 9000

Il faut, impérativement, et surtout si le NAS n'utilise pas d'autre lien réseau, que la station sache gérer les trames de cette taille, sinon, dans le cas où ça n'est pas géré, on perd l'accès au NAS, et il faudra faire des manipulations de départ...

Logiquement, sous Windows 10, ça passe. Sous Linux, c'est fait pour ça.

 

Modifié le 5 août 2020 par GnuByte

[maxou56]

Il y a 2 heures, GnuByte a dit :

 

Si je fais une copie depuis le dossier partagé vers un disque NTFS SSD en SATA3 (un Crucial 512Go de mémoire), la vitesse indiquée par Windows 10 Pro est de 262Mo/s, soit 2096Mbps..

Bonjour,

C’est effectivement relativement faible sur windows (par rapport au théorique)? Avec macOS qui n’est pas très rapide en SMB j’ai plus en 5Gbit/s (avec un adaptateur USB)

 

Il y a 2 heures, GnuByte a dit :

Si je fais une copie vers un volume /tmp en tmpfs de 80Go, en RAM DDR4 3600MHz, ça donne 82s, soit 906,2Mo/s, soit 7250Mbps.

Copie entre un dossier partagé et une « ram disk » sur le NAS?

(qu’elle commande tu utilises?)

Si c’est bien ça c’est la vitesse Max de ta RAID (SHR? Avec que des disques identiques en tailles? Donc RAID5)

Modifié le 5 août 2020 par maxou56

[GnuByte]

Il y a 7 heures, maxou56 a dit :

Bonjour,

C’est effectivement relativement faible sur windows (par rapport au théorique)? Avec macOS qui n’est pas très rapide en SMB j’ai plus en 5Gbit/s (avec un adaptateur USB)

 

Copie entre un dossier partagé et une « ram disk » sur le NAS?

(qu’elle commande tu utilises?)

Si c’est bien ça c’est la vitesse Max de ta RAID (SHR? Avec que des disques identiques en tailles? Donc RAID5)

J'ai déjà rédigé une réponse, mais j'ai dû oublier de cliquer sur envoyer... Je me paraphraserai donc.

Le dossier destination de la copie est un dossier monté en tmpfs linux. On peut y dédier une certaine taille d'espace mémoire. Habituellement,  sur cette machine dotée de 128Go de RAM, un dossier temporaire lié au dispositif de compilation Gentoo taille 52Go. Oui je sais que c'est énorme, mais la machine dispose de suffisamment d'espace, utilisé par l'infrastructure logicielle de mise à jour Gentoo. J'ai augmenté temporairement la taille à 80Go, démonté, puis remonté. Il restait tout de même 48Go pour gérer le reste, hein.

La commande était une simple "time cp /chemin/vers/le/dossier/où/le/volume/est/monté/fichier.trala /var/tmp/"

La commande time mesure le temps d'exécution d'une commande, avec la part système.

Ici, donc, 74Go en 82 secondes.

Les disques sont tous des Seagate IronWolf 14To de moins de 6 mois. C'est sans doute non loin de la limite sup de ce que peut donner la grappe SHR de 5 disques. Il faudrait voir sur une grappe native à 6, 7 ou 8 disques, pour voir si le spanning permet une accélération de la vitesse de lecture. 

C'est déjà pas mal.

[GnuByte]

 

-----------------------------

J'ai été pris d'un doute. Et si, en fait, les essais itératifs pouvaient avoir été suffisamment mis en cache pour biaiser la vitesse de transfert ?

Je viens de refaire le transfert, un peu fébrile, après avoir flushé les caches Linux du NAS 

sync; echo 3 > /proc/sys/vm/drop_caches

 

Le résultat est exactement identique, au dixième de seconde près. Le fichier, stripé et contigu, a été expédié à la même vitesse. Chaque disque pouvant sortir un 200Mo/s, à 5 à la fois ça donne 906Mo/s renouvelable.

Donc, j'ai tout lien de penser, de façon un peu plus sûre qu'hier, qu'il s'agit de la vitesse maximale de ma grappe de 5 disques récents identiques en SHR sur le NAS dont je dispose.