Besoin de conseils pour un partage de dossier entre deux NAS

[thepopol777]

Bonjour à tous,

J'ai un petit souci que je n'arrive pas à résoudre et j'aurais besoin de quelques lumières 😀

Je possède deux NAS situés à 10.000km l'un de l'autre.

NAS 1 ( Principal )
DS218
version DSM: 7.0.1

NAS 2
DS118
version DSM: 7.1.1


J'aimerai pouvoir télécharger des fichiers sur le NAS2, juste en utilisant Download Station depuis mon NAS1.
L'idée était donc d'avoir un dossier "TO_NAS2 " sur le NAS1, dossier qui serait le dossier cible de mes téléchargements, et qu'une fois les fichiers dedans ils soient transférés dans le NAS2 dans un dossier " FROM_NAS1 ". Dans l'idéal, si le dossier "TO_NAS2 " pouvait s'auto flusher des fichiers une fois le transfert terminé ça serait le must, mais je peux me passer ce ce point si trop compliqué. Je supprimerai les fichiers à la main au pire, l'idée étant que je ne souhaite pas avoir les fichiers en double sur 2 NAS.

Après quelques recherches, j'ai cru comprendre qu'une bonne solution était les Dossiers Distants, et j'ai suivi ce guide . J'ai tenté de le faire en NFS dans un premier temps, puis en CIFS, mais dans un cas comme dans l'autre je n'ai pas réussi à établir le lien.

J'ai créé les deux dossiers, activé le protocole NFS sur le  NAS2 ( panneau de config > Service de Fichiers > NFS ), puis depuis FileStation du NAS1 j'ai fait sur le dossier Outils > Montage Dossier Distant en renseignant l'ip publique du NAS2 ( xxx.xxx.xxx.xxx:/volume1/Downloads/FROM_NAS1 ) avec comme paramètres v3, TCP et Monter Sur /Medias/TO_NAS2, mais en validant j'ai une erreur La connexion a échoué. Veuillez vous assurer que le serveur distant est accessible via NFS.

J'ai aussi tenté, sur le NAS2 puis dans les paramètres de dossiers partagés, d'éditer le dossier partagé Downloads ( qui contient FROM_NAS1 ) et de lui mettre " * " dans les autorisations NFS. Mais ça n'a rien changé.

N'étant pas ultra calé sur ce sujet, si vous avez des suggestions je suis preneur. Peut être est-ce qu'il y a même une meilleure solution pour le but recherché ?

Merci à vous d'avoir pris le temps de lire.

[.Shad.]

Le plus simple est d'utiliser Synology Drive Sharesync, il synchronise des dossiers partagés entre plusieurs NAS.
Et tu peux choisir le sens de la synchro.

Synology Drive ShareSync | Synology Drive Server - Synology Centre de connaissances

Si tu utilises une connexion distante directe (= pas de QuickConnect), il faudra faire de la redirection du port 6690 en TCP sur la box "distante" vers le NAS2.
Même chose côté "1" si NAS1 peut recevoir des données en plus de les transmettre.

Modifié le 7 novembre 2023 par .Shad.

[thepopol777]

Merci @.Shad. pour le retour rapide !

 

Est ce que cette histoire de redirection de port pourrait etre la cause du non fonctionnement du NFS? J'avoue que j'aurais aimé comprendre ce qui bloque.

 

Cool pour le Synology Drive, mais si c'est de la synchro, est ce qu'en supprimant le fichier de mon NAS1 apres transfert cela ne va pas induire une suppression du fichier sur le NAS2 ? 

Une idée de la difference de performance niveau vitesse de transfert entre cette methode ( quickconnect ou sans ) et le NFS ?

 

Merci 👍🏼👍🏼👍🏼

[CMDC]

Il y a 6 heures, thepopol777 a dit :

Est ce que cette histoire de redirection de port pourrait etre la cause du non fonctionnement du NFS?

Le protocole NFS utilise d'autres ports ! 
De plus , ce protocole est dédié au montage réseau de volumes de fichiers ....Donc à oublier !
Ton problème étant tout simplement lié à la synchronisation (duplication ?) de données ente NAS, @.Shad. t'a donné la réponse 

Pour info, NFS est le montage réseau entre machines UNIX, comme SMB (Samba) est le montage réseau entre  machines Windows (et NAS) 

[.Shad.]

Il y a 7 heures, thepopol777 a dit :

Est ce que cette histoire de redirection de port pourrait etre la cause du non fonctionnement du NFS? J'avoue que j'aurais aimé comprendre ce qui bloque.

Oui c'est probable.
Ca peut aussi être lié au pare-feu du NAS, ou les deux à la fois.

Il y a 7 heures, thepopol777 a dit :

Cool pour le Synology Drive, mais si c'est de la synchro, est ce qu'en supprimant le fichier de mon NAS1 apres transfert cela ne va pas induire une suppression du fichier sur le NAS2 ? 

Une idée de la difference de performance niveau vitesse de transfert entre cette methode ( quickconnect ou sans ) et le NFS ?

Je me rends compte que j'ai lu ton poste en diagonale.

En effet, le cas précis que tu évoques ne sera pas possible, il faut prendre l'opération dans l'autre sens si tu veux que ça marche : un fichier ajouté dans TO_NAS2 va être synchronisé sur FROM_NAS1 par Drive Sharesync, la synchronisation étant unidirectionnelle NAS 1 -> NAS 2, si je supprime un fichier dans NAS 1 il disparaît dans NAS 2, en revanche si je le supprime dans NAS 2 il reste présent sur NAS 1. Une fois un fichier synchronisé, tu peux le déplacer du dossier FROM_NAS1 vers un autre dossier. Ca peut être fait manuellement ou via un script qui scanne le répertoire FROM_NAS1 à intervalle régulier.

Et tu peux de la même manière par exemple vider le contenu du dossier TO_NAS2 sur NAS 1 sur base d'un intervalle régulier en utilisant le planificateur de tâches de DSM.

Concernant ta dernière question, de façon générale il n'est pas recommandé d'exposer publiquement les ports NFS ou SMB. Ce sont des protocoles qui ne sont pas destinés à être utilisés à distance, notamment en terme de performance de transfert à distance, de reprise des téléchargements en cas de coupure, ou tout simplement dans la sphère sécuritaire, ces protocoles étant sensibles au brute-forcing.

Si Drive Sharesync devait ne pas répondre à ton besoin, l'utilisation de SSH fera l'affaire au moyen des commandes scp et sftp, mais ça nécessite de mettre les mains dans les cambouis. A ta place j'essaierais d'abord de voir ce qu'il est possible de faire avec Drive Sharesync.

 

Modifié le 7 novembre 2023 par .Shad.

[thepopol777]

Grand merci @.Shad. pour toutes tes explications. J'avoue qu'en lisant le " mode d'emploi " synology sur les dossiers distants NFS, sur le papier ça semblait bien représenter mon besoin.

Du coup quelques news, j'ai testé deux méthodes depuis, la première sur tes conseils avec Drive ShareSync, et l'autre sur le même principe mais avec CloudSync et mon compte Google Drive.

J'ai utilisé pour mes tests un fichier .rnd de 10 Go fourni par Free pour les tests de débit.
En sachant que les deux NAS sont reliés à la fibre, NAS1 1 Gbps ( 800 Mbps en upload il me semble ) et NAS2 100 Mbps ( upload non intéressant ici ).

Le seul point " noir " que j'ai vu, sans savoir si c'en est vraiment un (?), c'est que pour la méthode DriveSync j'ai utilisé les ID quickconnect. Impossible d'utiliser l'IP ( car non fixe ) ni les domaines xxx.dsmynas.com, car ils ne fonctionnent pas ( connection refused pour NAS2 et timeout pour NAS1 ) et je n'ai aucune idée du pourquoi ( tout les voyants sont bien au vert sur le NAS, et je suis déjà passé par eux dans le passé donc je sais qu'ils marchaient à un moment.... bizarre... ).
Pour la méthode CloudSync, pareil, au moment de donner l'autorisation à Google d'avoir accès aux NAS, ça me demandait si je voulais autoriser xxx.fr4.quickconnect.to à avoir accès à mon compte Google. Donc là encore, c'est quickconnect qui mène la danse. 

Bref, passons aux résultats: Dans les deux cas c'est gagnant! Ca a fait exactement ce que je voulais, en bidirectionnel pour les deux méthodes, donc une fois que je range le fichier dans son dossier final, ça le supprime même du NAS1 automatiquement. Genial ! 

Pour les perfs, là c'est autre chose...

Téléchargement direct sur NAS2 du fichier: 14 min ( vitesse moyenne 12 Mo/s )

Méthode DriveSync: 3 min pour télécharger sur NAS1 + 59 min pour sync sur NAS2 ( vitesse moyenne 2.7 Mo/s )

Méthode CloudSync: 3 min pour télécharger sur NAS1 + 4 min pour upload sur Google Drive + 14 min pour sync sur NAS2 ( soit même vitesse qu'en DL direct )

Je ne sais pas pourquoi c'est si lent via DriveSync, c'est dommage car ça m'embête un peu d'avoir  Google Drive en intermédiaire. Mais pour le moment il semble que ce soit la meilleure solution.
 

[.Shad.]

@thepopol777 Est-ce que tu as bien fait la redirection de port pour le port 6690 en TCP sur chacune des box vers les NAS respectifs ?

Car la connection refused c'est typiquement une redirection non fait et/ou un pare-feu mal réglé.

Assure-toi que dans le pare-feu de chaque NAS le port TCP 6690 est ouvert au monde entier le temps d'un test, et que les redirections sont correctement faites, puis tu vas sur https://www.yougetsignal.com/tools/open-ports/ et tu testes depuis chaque NAS si l'ouverture du port est ok :

[thepopol777]

Merci @.Shad. !

Tu penses donc que ça peut être cette histoire d'ID quickconnect qui limite la vitesse de transfert pour la méthode DriveSync? ( pourtant pas d'incidence avec methode Cloud ).

Autre question, pour l'accès au domainexxx.dsmynas.com, il me semblait que c'etait les ports 5000 et 5001 qui étaient en jeu? ( meme si 6690 aura surement aussi son utilité ).

J'ai jeté un coup d'oeil car c'est du chinois pour moi ces histoires de ports,  mais ça a l'air d'être un joyeux bordel sur les freebox ( NAS1 ), avec le besoin de faire une demande à Free d'une IP full stack pour pouvoir gérer es ports inférieurs à 36000... Du coup je me demandais si je pouvais changer les ports 5000/5001/6690 sur le nas pour des ports genre 41000, afin de pouvoir les gérer sans trop de bazar?
Pour cela sur DSM je vois plusieurs endroits ou il semble qu'on puisse modifier les ports 5000 et 5001 mais je ne comprends pas trop la différence:
Paramètres > Système > Portail de connexion > DSM
Paramètres > Connectivité > Accès Externe > Configuration du routeur
Paramètres > Connectivité > Accès Externe > Avancé
🤔
Par contre je vois rien pour 6690.

Merci !

[.Shad.]

il y a 14 minutes, thepopol777 a dit :

Tu penses donc que ça peut être cette histoire d'ID quickconnect qui limite la vitesse de transfert pour la méthode DriveSync? ( pourtant pas d'incidence avec methode Cloud )

Si ton NAS n'est pas joignable par les moyens usuels via QuickConnect, alors un relais est établi via les serveurs de Synology pour faire transiter les données, donc la lenteur constatée en est sûrement l'origine.

il y a 15 minutes, thepopol777 a dit :

Autre question, pour l'accès au domainexxx.dsmynas.com, il me semblait que c'etait les ports 5000 et 5001 qui étaient en jeu? ( meme si 6690 aura surement aussi son utilité ).

Les ports 5000 et 5001 sont pour DSM, avec son bureau.
Toi ce qui t'intéresse ici c'est uniquement la synchronisation des données, et celle-ci se fait par le port TCP 6690. C'est un port hardcodé, le NAS qui va initier une synchro tentera de joindre le domaine:6690 ou l'ip:6690, si tu veux pouvoir synchroniser d'un NAS1 à un NAS2 il faut que ce port soit accessible de part et d'autre sur tes box.

il y a 17 minutes, thepopol777 a dit :

J'ai jeté un coup d'oeil car c'est du chinois pour moi ces histoires de ports,  mais ça a l'air d'être un joyeux bordel sur les freebox ( NAS1 ), avec le besoin de faire une demande à Free d'une IP full stack pour pouvoir gérer es ports inférieurs à 36000... Du coup je me demandais si je pouvais changer les ports 5000/5001/6690 sur le nas pour des ports genre 41000, afin de pouvoir les gérer sans trop de bazar?

Je ne réside pas en France, mais de ce que j'ai pu lire il n'a pas l'air aussi difficile que tu as l'air de le penser de demander une IP full stack. Pour le changement de ports, voir mon message ci-dessus.

[Kramlech]

Pour avoir un IP Full Stack :

• Console de gestion Free
• Ma freebox
• Demander une IP fixe V4 full-stack

Le traitement de la demande est faite en moins de 24 heures ... Ton IP V4 actuellement attribuée par Free va sans doute changer ...

On ne peut pas dire que ce soit très compliqué !

[thepopol777]

Merci pour vos reponses,

Et oui, la partie compliquée ce n'est pas la demande à Free, c'est surtout le changement d'IP, devoir envoyer un courrier a mon employeur pour mettre a jour pour mon teletravail, demander a ma femme de faire pareil, etc...

Rien d'inaccessible, mais si j'avais juste pu changer le port en 2 clics ça aurait été préférable 👍🏼

[Mic13710]

Il y a 2 heures, thepopol777 a dit :

Par contre je vois rien pour 6690.

Parce que, comme l'a expliqué @.Shad., ce port n'est pas modifiable. D'où l'importance de demander une ip full stack si ce port n'est pas dans la plage allouée par free.

[CMDC]

Le 12/11/2023 à 2:10 PM, thepopol777 a dit :

Pour cela sur DSM je vois plusieurs endroits ou il semble qu'on puisse modifier les ports 5000 et 5001 mais je ne comprends pas trop la différence:

Si j'ai bien compris ta question, pourquoi se prendre la tête et ne pas utiliser la magie du NAT ?

genre :

PORT EXTERIEUR          PORT INTERIEUR

x5001   (exemple)          5001

y5000   (exemple)         5000

 

Attention, si tu utilises Hyper Backup , pour établir la première connexion vers la cible, la première fois, il faudra revenir sur le routeur de cible, au binding 5001->5001, puis une fois que c'est connecté tu peux faire un binding comme tu veux !!!

Ce que je fais pour le port 22 (SSH) et depuis je n'ai quasiment plus d'attaque sur ce port. 

Mais bon, on peut très bien se passer de l'ouverture de ces deux ports, (ainsi que beaucoup d'autres d'ailleurs) par utilisation d'un VPN par exemple 

[thepopol777]

Le 09/11/2023 à 4:12 PM, .Shad. a dit :

@thepopol777 tu testes depuis chaque NAS si l'ouverture du port est ok :

 

Alors, depuis j'ai au moins testé d'ouvrir les ports pour le NAS2, n'ayant pas de limitation sur ce reseau, mais par contre en utilisant ton site pour verifier après coup, ça me dit 'Port is Closed' ( testé avec 5000 et 6690 ).

Peut être ai-je mal fait la manip? Voici l'interface sur le routeur:

 

Merci

[.Shad.]

@thepopol777 C'est du port forwarding que tu dois faire, et pas du port triggering. Je t'invite à jeter un oeil au tutoriel suivant, section redirection de ports :

 

 

Modifié le 17 novembre 2023 par .Shad.

[thepopol777]

Ok c'est bien ce qui me semblait, mais je n'ai rien trouvé a part ca ( pourtant on voit bien que la categorie en question est " Forward rules " ) sur la config du routeur, un huawei HG8145X6 )...

Y'a ip port mapping sinon mais je pense bien que ça n'a rien a voir...

 

EDIT: C'etait bien ici! En fait les champs pour les port apparaissent qu'après avoir validé les premières infos!

Je vais jeter un oeil a ton lien,  merci!

PS: Merci aussi CMDC pour tes suggestions! 

Modifié le 17 novembre 2023 par thepopol777

[thepopol777]

Salut, petit update. Je suis de retour en France ( chez NAS1 😁 ) du coup j'ai pu refaire quelques tests.
Entre temps, j'ai ouverts les ports ( 5000, 5001, 6690 ) sur la box du NAS2, et j'ai verifie via le site donne par  @.Shad. qu'ils etaient bien detectes comme ouverts. 
Aussi, j'ai upgrade l'abonnement de 100 Mbps a 300 Mbps sur la box du NAS2.

De retour a la maison donc, j'ai reparametre Drive Sync sur NAS1 pour qu'il joigne le NAS2 via nas2.dsmynas.com au lieu d'ID quickconnect. Connexion etablie avec succes 🤩

J'ai donc relance un test de telechargement et voici les resultats:

Méthode DriveSync: 3 min pour télécharger sur NAS1 + 4 min ou il ne se passait rien ( icone de "sync en cours" mais aucun mouvement reseau ) + 19 min pour sync sur NAS2 ( vitesse moyenne sync 12 Mo/s ).
Total 26 min

Méthode CloudSync: 3 min pour télécharger sur NAS1 + 4 min pour upload sur Google Drive + 14 min pour sync sur NAS2 ( vitesse moyenne sync 25 Mo/s ).
Total 17 min

On note donc que la vitesse de synchro sur la methode Drive a ete x3 par rapport au precedent test ( 59min de sync ), ce qui est coherent avec le nouvel abonnement passe de 100 a 300 Mbps. Par contre, toujours un temps de retard par rapport a la methode Cloud.

Bon, ces temps sont completement acceptables pour moi, merci encore pour m'avoir guide jusqu'ici.
Maintenant c'est juste de la curiosite de demeler tout ca.

Sur ma Freebox donc les ports ne sont pas ouverts, et detectes comme fermes par le site yougetsignal, pourtant j'arrive bien a acceder a nas1.dsmynas.com ( alors que j'avais une erreur timeout auparavant, et je n'ai rien change depuis... curieux ).

J'ai fait la demande d'IPv4 full stack a l'instant, tant pis pour la penibilite 😛 On va voir si ca change quelque chose avec le port 6690 ouvert au prochain test.

Merci

 

Modifié le 28 novembre 2023 par thepopol777

[thepopol777]

Update final et conclusion de cet arc 😛

Les ports sont donc maintenant ouverts des deux cotes, cela semble m'avoir fait gagner le 4-5 minutes ou " il ne se passait rien ".

J'ai aussi teste en activant le chiffrement SSL et sans, ici aussi juste 1 minute de difference. La encore bon ca peut tres bien venir des fluctuations du reseau et pas vraiment de ce parametre, mais bon.

Fichier de 10 Go.
Méthode DriveSync: 19 min
Méthode DriveSync SSL: 20 min
Méthode CloudSync: 17 min

En conclusion donc, la methode par cloud meme si elle rajoute un intermediaire reste la plus rapide, mais oblige pour les gros volumes a avoir un abonnement Google Drive.
 

De mon cote je vais rester sur la methode Drive Sync vu que l'ecart s'est bien reduit et que je ne suis pas a quelques minutes pres.

Merci encore pour vos conseils.