Aller au contenu

Accès a des petits fichiers multiples très lent.

lewax

Par lewax
dans Accès à vos données

 Partager

Messages recommandés

lewax Newbie

lewax

Posté(e)
Posté(e)

Bonjour.

J'ai un synology 1515+ avec 6gb de RAM, 4 disques WDred en SHR et un SSD 240gb en volume simple. Je suis connecté avec deux cables réseau gigabit, sur un switch gigabit et j'ai créé un "bond" Les accès réseau sont très rapides (copie de fichiers de grande taille). Si je fais un test avec LAN speed test, un fichier de 500GB est copié en 5.5 secondes et lu en 4.4 secondes.

Le problème que j'ai, c'est avec un soft qui va lire pleins de petits fichiers. La, ça prend beaucoup de temps. J'ai essayé de mettre ces fichiers sur le volume SHR mais aussi sur le SSD et c'est lent dans les deux cas. J'ai également fait l'essai en utilisant le SSD comme cache du volume SHR mais c'est pas mieux... Du coup, j'ai fait l'essai de mettre ces fichiers sur un ordinateur windows 10 pro de partager le dossier et d'accéder avec mon soft sur ce pc plutôt que sur le Syno... Et la, c'est presque instantané... J'en viens a me dire qu'un bête ordi Windows 10 est plus performant que mon joli syno...

Les courbes du moniteur d'activité son dans le bas. L'utilisation du cpu et de la RAM aussi... Ce n'est donc pas un problème d'utilisation des ressources ou de manque de ressource

Je suis en SMB3 (non crypté) sur le syno mais j'ai essayé en SMB2 et c'est pareil.

Y'a-t-il une solution pour accélérer ces accès aux petits fichiers?

Merci d'avance pour votre aide.

0
Lien vers le commentaire
Partager sur d’autres sites
Fenrir Newbie

Fenrir

Posté(e)
Posté(e)

non, pas en smb

Tu pourrais avoir un nas 10 fois plus gros, ça ne changera pas grand chose, le soucis avec les petits fichiers c'est que ton PC passe plus de temps à établir la connexion qu'à le transférer (plus la latence de ton réseau qui est surement 10 à 100 fois moins bonne que celle d'un disque local).

En NFS, c'est déjà mieux, le plus performant étant l'iSCSI (mais c'est différent).

0
Lien vers le commentaire
Partager sur d’autres sites
Fenrir Newbie

Fenrir

Posté(e)
Posté(e)

J'avais raté un mot dans ton premier poste, j'ai cru que ton soft et ton partage étaient sur la même machine. Si c'est le cas, ma réponse précédente reste valable, sinon ça peut venir du fait que l'implémentation SMB dans les Syno est partielle et un peu ancienne. Ton soft se sert peut être de fonctions qui ne sont pas présentes dans le serveur samba des syno.

Le SMB a toujours été plus rapide avec un serveur Windows qu'avec un serveur Samba, mais pas au point de dire que l'un était instantané et l'autre très lent.

Fais le test en iSCSI pour vérifier que c'est bien un soucis de protocole.

0
Lien vers le commentaire
Partager sur d’autres sites
lewax Newbie

lewax

Posté(e)
  • Auteur
Posté(e)

Encore merci Fenrir.

euh alors la, j'aurais besoins d'un peu d'aide je ne sais pas ce qu'est le iSCSI

Mais sinon, oui, le partage est sur une machine et l'accès depuis une autre donc via partage réseau. En plus, deux bonnes machines mais qui ont déjà entre 3 et 5 ans. La différence de vitesse est impressionnante.

0
Lien vers le commentaire
Partager sur d’autres sites
Fravadona Newbie

Fravadona

Posté(e)
Posté(e)
Il y a 21 heures, lewax a dit :

Si je fais un test avec LAN speed test, un fichier de 500GB est copié en 5.5 secondes et lu en 4.4 secondes.

500GB en 5 sec ???? Tu t'es trompe d'un facteur 1000x, lol :-P

 

Il y a 21 heures, lewax a dit :

Le problème que j'ai, c'est avec un soft qui va lire pleins de petits fichiers. La, ça prend beaucoup de temps. J'ai essayé de mettre ces fichiers sur le volume SHR mais aussi sur le SSD et c'est lent dans les deux cas. J'ai également fait l'essai en utilisant le SSD comme cache du volume SHR mais c'est pas mieux... Du coup, j'ai fait l'essai de mettre ces fichiers sur un ordinateur windows 10 pro de partager le dossier et d'accéder avec mon soft sur ce pc plutôt que sur le Syno... Et la, c'est presque instantané... J'en viens a me dire qu'un bête ordi Windows 10 est plus performant que mon joli syno...

Je rejoins @Fenrir sur ce point, la lecture de pleins de petits fichiers est bien plus lente que pour les gros fichiers. Si ton partage W10 semble BEAUCOUP plus rapide alors je pense que cela provient d'un "cache hit". Redémarres les 2 PCs et refait la copie pour voir.

0
Lien vers le commentaire
Partager sur d’autres sites
lewax Newbie

lewax

Posté(e)
  • Auteur
Posté(e)

Merci Fravadona.

Oui, c'est un fichier de 500 méga pas giga...:redface:

J'ai redémarré les deux pc et c'est toujours bien plus rapide entre les deux pc que entre pc-syno...

J'ai aussi créé un iscsi en suivant les indications de synology mais je comprends pas très bien comment utiliser ce disque... Depuis un win10, j'ai pu m'y connecter, ensuite dans le gestionnaire des disques, je vois un disque non initialisé...Je l'ai initialisé, formaté... Et je peux y mettre mes fichiers...

Ma question... Est-ce que je peux connecter ce iscsi sur plusieurs machines et l'utiliser comme un lecteur réseau??? Ou bien ce disque iscsi ne doit être connecté qu'a un seul ordinateur?

0
Lien vers le commentaire
Partager sur d’autres sites
lewax Newbie

lewax

Posté(e)
  • Auteur
Posté(e)

Merci à vous deux pour votre aide. J'apprécie grandement!

Fenrir: Est-ce qu'on sait ± quand DSM6.1 sera disponible?

Fravadona: Le Volume est un RAID SHR, formaté en Btrfs. Les fichiers sont vraiment minuscule. Ils font entre 2KB et 500KB

Est-ce que ça aurait été mieux en Ext4?

0
Lien vers le commentaire
Partager sur d’autres sites
  • 1 mois après...
lewax Newbie

lewax

Posté(e)
  • Auteur
Posté(e)

Alors juste pour relancer le topic...

J'ai testé en NFS. C'est encore plus lent qu'en SMB. 

Voila quelques mesures que j'ai fait en faisant la même action sur mon soft.

EN SMB: 29sec
En NFS: 58sec
EN iSCSI: 1 à 2 sec
En partage PC à PC: 1 à 2 sec

J'ai aussi testé sur le même réseau avec un DS411j (donc bien moins puissant que le 1515+) mais avec la beta 6.1
Les temps en partage SMB sont un peu moins bons qu'avec le 1515+ en DSM6. Donc pas sur que la version 6.1 améliorera la vitesse de smb sur de multiples petits fichiers

0
Lien vers le commentaire
Partager sur d’autres sites
lewax Newbie

lewax

Posté(e)
  • Auteur
Posté(e)

Bonjour bagou91.

J'utilise un soft développé en windev mais le nom ne vous dira rien, c'est un développeur local qui a fait ça pour quelques entreprises de la région. Ce programme gère des projets (offres, devis, suivi). Quand on ouvre un projet, il va lire beaucoup de tout petits fichiers (peut-être une 50aine ou une 100aine, dépend du projet mais au total, ca ne représente pas plus de 20 ou 50 méga pour les gros projets) et c'est ça qui prend du temps.

L'accès à un seul fichier de petite taille est instantané (word ou txt ou autre)

0
Lien vers le commentaire
Partager sur d’autres sites
Fenrir Newbie

Fenrir

Posté(e)
Posté(e)
Il y a 7 heures, lewax a dit :

L'accès à un seul fichier de petite taille est instantané (word ou txt ou autre)

Je ne pense pas, mais le delta de temps est tellement petit que tu ne le vois pas, multiplie le par 50 ou 100 (comme dans le cas de ton appli), tu devrais commencer à trouver le temps long.

Je pense aussi que le développement du soft est à revoir (en passant il faudrait utiliser un vrai langage, parce que windev ... :rolleyes:), ton application ne devrait pas travailler avec des fichiers mais avec une base de données et éventuellement produire des fichiers en fin de traitement ... mais c'est un autre sujet.

Par contre c'est difficilement justifiable si le soft se comporte correctement en environnement 100% Windows (ça doit faire partie des prérequis).

Tu devrais tester les différentes options avancés de Samba (en particulier les oplock) et/ou attendre la sortie (et la stabilisation) de DSM6.1.

Une "solution" alternative pourrait être BrandCache, mais comme il faut un serveur Windows, autant monter une Lun iSCSI du nas sur le serveur et faire le partage SMB depuis ce serveur.

1
Lien vers le commentaire
Partager sur d’autres sites
  • 2 semaines après...
lewax Newbie

lewax

Posté(e)
  • Auteur
Posté(e) (modifié)

Tout à fait du même avis que toi. 
L'accès rapide a un fichier multiplié par 50 ou 100, on le ressent.
Le développement avec windev.... hum... No comment... Et je te rejoins aussi sur le fait qu'il devrait travailler avec une base de donnée mais ces deux points demandent d'autres compétences qu'a mon avis le dev n'a pas...

Quand tu parles de oplock, c'est bien l'option "désactivation du verrouillage opportuniste" dans le syno? Si oui, j'ai testé un peu mais pas de différences notable.

Je verrais aussi quand DSM6.1 sera de sortie si il améliore ces accès. J'ai vu que je n'étais pas le seul à me plaindre de smb et les petits fichiers...

La solution avec un serveur windows ne me plait pas. Ca fait trop de frais pour au final juste gagner un peu de temps... Je pense qu'on va apprendre a vivre avec (sauf si avec 6.1 ça se passe mieux!!!)

Modifié par Lucien77
Inutile de citer le post précédent
0
Lien vers le commentaire
Partager sur d’autres sites
  • 1 an après...
lewax Newbie

lewax

Posté(e)
  • Auteur
Posté(e)

Bonjour, j'aimerais relancer ce sujet....

j'ai un soucis avec l'ouverture de fichiers excel via des connexions smb.

Voila la situation. Même environnement que cité plus haut mais l'ordi client se trouve dans une succursale distante connecté via un vpn...
Je connecte un lecteur réseau en passant par \\adresseduNAS\mondossierpartagé...
Si je veux ouvrir un fichier excel (150Ko) en passant par ce lecteur réseau, ça me prends un temps fou (genre presque une minute). Si je le copie depuis le disque réseau vers le bureau, ça prends 1-2 secondes et ensuite l'ouverture est quasi instantanée... Si je partage ce fichier depuis un ordi windows qui est sur le même réseau que le NAS, ça s'ouvre en 2-3 secondes donc nickel.
Ce qui me fait dire que le problème ne vient pas ni de mon vpn, ni de l'ordi client mais de SMB sur le syno.

Je suis un grand fan de synology mais la, ça devient vraiment pénible...

Est-ce que quelqu'un aurait un liens vers un article traitant de la meilleure façon possible de configurer SMB sur un syno???

Merci d'avance!

0
Lien vers le commentaire
Partager sur d’autres sites
lewax Newbie

lewax

Posté(e)
  • Auteur
Posté(e) (modifié)

Mon problème avec les fichiers excel est résolu.

Il s'agissait du composant "Microsoft File vérification add-in" qui ralentissait l'ouverture des fichiers office. En le désinstallant, c'est rentré dans l'ordre... 

Maintenant, le fichier .xls que j'utilisait pour test s'ouvre en moins de 3 secondes alors qu'avant il fallait pas loins d'une minute...

Modifié par lewax
0
Lien vers le commentaire
Partager sur d’autres sites

Rejoindre la conversation

Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.

Invité
Répondre à ce sujet…

×   Collé en tant que texte enrichi.   Coller en tant que texte brut à la place

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

×
 Partager
Aller sur la liste des sujets
×
×
  • Créer...

Information importante

Nous avons placé des cookies sur votre appareil pour aider à améliorer ce site. Vous pouvez choisir d’ajuster vos paramètres de cookie, sinon nous supposerons que vous êtes d’accord pour continuer.