[resolu] Rsync vers mon DS414 à partir de OMV

higs · le 8 janvier 2016

Re bonjour !

J'espère que je poste dans la bonne section...

Comme je le disais dans ma présentation, je viens de faire l'acquisition de mon Synology DS414 (un peu dans l'urgence et le fait des "soldes" et du peu d'exemplaire restant)

Je possède des NAS sous OpenMediaVault et je viens d'avoir un Raid1 qui contient mes sauvegardes qui a montré des signes de faiblesse. du coup vu la période de soldes et mes conditions : tous mes autres NAS (Full), je me suis retrouvé un peu contraint de faire cet achat précipitamment (je connais le sérieux et la qualité des produits de la société que je suis depuis ses débuts je pense en suivant les tests, les demos en ligne etc..). Précipitamment parce que j'ai vu le compteur de disponibilité descendre rapidement et même être en rupture chez d'autres VPC.

Donc juste après ma commande (reçu ce jour) j'ai pu faire de nouveau fonctionné mon Raid1 qui a de nouveau laché hier et que j'ai de nouveau réussi à refaire tourné hier soir pour mes sauvegardes.

J'ai donc mis 2 disques qui me restais dans mon DS414 (2x 1,5To), n'ayant pu acheter les disques de 4To que Auchan a bradé vers les 56€ lors de l'ouverture des soldes et commencé ma configuration toute l'après midi. mon DS414 est en SHR, j'espère que je pourrais passé en SHR2 plus tard en ajoutant des disques/changer, mais la question n'est pas là...

Je voudrais donc doubler ma sauvegarde, faire un rsync de mon NAS sous OpenMediaVault(OMV) vers mon DS414, mais dès que je lance en push la sauvegarde depuis OMV, je n'ai rien qui se passe de l'autre côté.

Dans sauvegarde et réplication/ service de sauvegarde coché activer le service de sauvegarde réseau.

créer le rerpertoire "dblBackup" dans le DS414, donné les droits en écriture au "user" de mon NAS.

et sur mon NAS j'ia la commande en push : rsync://user@192.168.1.4/dblBackup

je ne vois pas ce que j'ai raté...

Modifié le 10 janvier 2016 par higs
mise en résolu

Fenrir · le 8 janvier 2016

Je n'utilise pas OMV, mais avec rsync ça fonctionne sans soucis :

rsync -e ssh -avz /home/test user@10.20.30.40:/volume1/temp/

J'ai trouvé un exemple ici pour omv : http://skimpax.web4me.fr/wiki/doku.php/linux/rsync

higs · le 9 janvier 2016

Bonjour Fenrir, merci de ton aide.

J'ai fais plein d'essai sans succès. Voici ou j'en suis.

ci joint la configuration via l'interface (nota: il existe sur le site de OpenMediaVault une demo live pour plus de commodité)

cette configuration génére un fichier cron.d (/var/lib/openmediavault/) qui contient ceci :

#!/bin/sh
# This configuration file is auto-generated.
# WARNING: Do not edit this file, your changes will be lost.
. /usr/share/openmediavault/scripts/helper-functions
cleanup() {
  omv_kill_children $$
  rm -f /var/run/rsync-4b239efa-b19e-4444-af6a-1b4aa0310dd9
  exit
}
[ -e /var/run/rsync-4b239efa-b19e-4444-af6a-1b4aa0310dd9 ] && exit 1
trap cleanup 0 1 2 5 15
touch /var/run/rsync-4b239efa-b19e-4444-af6a-1b4aa0310dd9
echo "Please wait, syncing </media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Telephone - Rushs//> to <rsync://Vince@192.168.1.4:/dblBackup> ...\n"
env RSYNC_PASSWORD="******" rsync --verbose --log-file="/var/log/rsync.log" --recursive --times --compress --archive --delete --perms -e ssh '/media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Telephone' rsync://Vince@192.168.1.4:/dblBackup & wait $!

mais au moment de l'execution j'ai ce message :

Please wait, syncing </media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Telephone - Rushs//> to <rsync://Vince@192.168.1.4:/dblBackup> ...

tream (code 12) at io.c(605) [sender=3.0.9]

je bloque de nouveau... désolé, je ne maitrise pas linux, même si je progresse...

Fenrir · le 9 janvier 2016

il y a une heure, higs a dit :

code 12

là on fait la commande magique qui corrige 90% des problèmes : man rsync

EXIT VALUES
       0      Success
       1      Syntax or usage error
       2      Protocol incompatibility
       3      Errors selecting input/output files, dirs
       4      Requested action not supported: an attempt was made to manipulate 64-bit files on a platform that cannot support them; or an option  was  specified  that  is
              supported by the client and not by the server.
       5      Error starting client-server protocol
       6      Daemon unable to append to log-file
       10     Error in socket I/O
       11     Error in file I/O
       12     Error in rsync protocol data stream
       13     Errors with program diagnostics
       14     Error in IPC code
       20     Received SIGUSR1 or SIGINT
       21     Some error returned by waitpid()
       22     Error allocating core memory buffers
       23     Partial transfer due to error
       24     Partial transfer due to vanished source files
       25     The --max-delete limit stopped deletions
       30     Timeout in data send/receive
       35     Timeout waiting for daemon connection

12 => rsync pas lancé coté nas

Il y a 7 heures, higs a dit :

Dans sauvegarde et réplication/ service de sauvegarde coché activer le service de sauvegarde réseau.

tu as appliqué ?

gaetan.cambier · le 9 janvier 2016

Tout l'avantage de linux quand meme on a toujours des description claire des commandes et des erreurs. C'est pas la meme choses ailleurs ; )

higs · le 9 janvier 2016

Oui, cf captures. j'ai par contre reçu par mail cette nuit "mon log" qui m'en dis un peu plus :

Host key verification failed.
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(605) [sender=3.0.9]

donc apparement problème de clé. sinon comment voir si rsync tourne bien sur le DS414 ?

gaetan.cambier · le 9 janvier 2016

ps | grep rsync

Commande valable pour tout en changeant le grep

Fenrir · le 9 janvier 2016

Il y a 5 heures, higs a dit :

Host key verification failed.

ça c'est parce que ton omv ne connait pas ton nas, il faut faire les présentations

en ssh sur omv, connecte toi avec l'utilisateur qui lance la commande et fais : ssh user@nas

ça va te demander d'accepter ou de refuser la clef

higs · le 9 janvier 2016

Bonsoir,

Il y a 5 heures, Fenrir a dit :

ça c'est parce que ton omv ne connait pas ton nas, il faut faire les présentations

en ssh sur omv, connecte toi avec l'utilisateur qui lance la commande et fais : ssh user@nas

ça va te demander d'accepter ou de refuser la clef

Je me suis doutais que c'étais une question de "relation" entre les 2 machines, un échange des clés SSH (du fait que le mot de passe n'est plus nécessaire), le tout était de savoir comment...

Donc je viens de faire la commande, j'ai accepté la clé, mais apparement j'ai un permission denied (nota : je suis en Root ssh sur mon OMV) c'est peut-être dû à ça... sachant que c'est le Vince de OMV qui va se connecter au Vince du DS414, je vais essayé.

Voici la tentative via root :

root@NAS2:~# ssh Vince@ds414
ssh: Could not resolve hostname ds414: Name or service not known
root@NAS2:~# ssh Vince@192.168.1.4
The authenticity of host '192.168.1.4 (192.168.1.4)' can't be established.
ECDSA key fingerprint is c7:5f:3d:3a:8e:75:af:1c:5a:33:a2:c2:24:8b:1f:26.
Are you sure you want to continue connecting (yes/no)? y
Please type 'yes' or 'no': yes
Warning: Permanently added '192.168.1.4' (ECDSA) to the list of known hosts.
Vince@192.168.1.4's password:
Permission denied, please try again.
Connection to 192.168.1.4 closed.
root@NAS2:~#

Via mon compte Vince sur OMV :

Could not chdir to home directory /home/Vince: No such file or directory
$ ssh Vince@192.168.1.4
Could not create directory '/home/Vince/.ssh'.
The authenticity of host '192.168.1.4 (192.168.1.4)' can't be established.
ECDSA key fingerprint is c7:5f:3d:3a:8e:75:af:1c:5a:33:a2:c2:24:8b:1f:26.
Are you sure you want to continue connecting (yes/no)? yes
Failed to add the host to the list of known hosts (/home/Vince/.ssh/known_hosts).
Vince@192.168.1.4's password:
The authenticity of host '192.168.1.4 (192.168.1.4)' can't be established.
ECDSA key fingerprint is c7:5f:3d:3a:8e:75:af:1c:5a:33:a2:c2:24:8b:1f:26.
Are you sure you want to continue connecting (yes/no)?
Failed to add the host to the list of known hosts (/home/Vince/.ssh/known_hosts).
Permission denied, please try again.
Connection to 192.168.1.4 closed.

Donc je pense qu'il manque une permission sur le DS414 pour le Ssh...

Modifié le 9 janvier 2016 par higs

Fenrir · le 9 janvier 2016

il n'y a que root qui peut ouvrir un shell sur le syno, c'est normal

essaye le rsync

higs · le 9 janvier 2016

j'ai essayé de nouveau :

Please wait, syncing </media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Telephone - Rushs//> to <rsync://Vince@192.168.1.4:/dblBackup> ...

closed (0 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(605) [sender=3.0.9]

sinon par mail (log) j'ai eu plus d'info lors de la tentative automatique (j'ai paramété pour faire un rsync toute les 4h) :

Permission denied, please try again.
Permission denied, please try again.
Permission denied (publickey,password).
rsync: connection unexpectedly closed (0 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(605) [sender=3.0.9]

Une chose étrange que je remarque suite à un test, via Kitty (un soft comme putty) pour me connecter en ssh sur le DS414 via Vince et son mot de passe dès que je valide le password la fenetre se ferme.

Modifié le 9 janvier 2016 par higs
un test en +

Fenrir · le 9 janvier 2016

c'est mal, mais essaye déjà en root pour voir si tout est ok niveau conf/ssh/rsync

higs · le 9 janvier 2016

voici le résultat :

Please wait, syncing </media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Telephone - Rushs//> to <rsync://root@192.168.1.4:/dblBackup> ...

y closed (0 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(605) [sender=3.0.9]

ça m’énerve de ne pas trouver, et d'être impuissant, c'est forcément faisable, je voudrais éviter de lancer des copy via ftp ou autre... car le but de rsync est quand même d'optimiser les transferts de manière à ce que je ne re-transfert pas toujours tout ici. (j'ai des sauvegardes de machine virtuel par exemple et si je ne l'ai pas utiliser le fichier reste identique donc pas besoin de re-transferer des gigas)

Fenrir · le 10 janvier 2016

sur le syno, désactive puis réactive le service de backup

sur ton omv, essaye directement depuis le shell (sans passer par l'interface) avec la commande que j'ai posté au début

higs · le 10 janvier 2016

il y a 8 minutes, Fenrir a dit :

sur le syno, désactive puis réactive le service de backup

sur ton omv, essaye directement depuis le shell (sans passer par l'interface) avec la commande que j'ai posté au début

J'étais en train de recopier la source du répertoire a recopier :

/media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Telephone - Rushs//

et je remarque que dans la commande généré par OMV, elle n'est pas la même :

'/media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Telephone'

je vais donc tenter avec un autre partage

Fenrir · le 10 janvier 2016

tiens un espace non échappé, lgt que je n'en avais pas vu

higs · le 10 janvier 2016

il y a 2 minutes, Fenrir a dit :

tiens un espace non échappé, lgt que je n'en avais pas vu

je disais plutôt le "-" de Rushs qui pose problème... mais non apparement, j'ai changer de répertoire et quand je lance j'ai un truc étrange... plus d'info dans pas longtemps, je veux m'assurer de ce que je dis.

Bon en fait, je navigue entre les différents fichiers "rediriger" que fais OMV donc dans le fichier /etc/cron.d/openmediavault-rsync j'ai :

SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
# m h dom mon dow user    command
0 */4 * * * root /var/lib/openmediavault/cron.d/rsync-4b239efa-b19e-4444-af6a-1b4aa0310dd9 | mail -E -s "Rsync - Sync vers Syno" -a "From: Cron Daemon <root>" root >/dev/null 2>&1

dans le fichier indiqué ci dessus /var/lib... j'ai

#!/bin/sh
# This configuration file is auto-generated.
# WARNING: Do not edit this file, your changes will be lost.
. /usr/share/openmediavault/scripts/helper-functions
cleanup() {
  omv_kill_children $$
  rm -f /var/run/rsync-4b239efa-b19e-4444-af6a-1b4aa0310dd9
  exit
}
[ -e /var/run/rsync-4b239efa-b19e-4444-af6a-1b4aa0310dd9 ] && exit 1
trap cleanup 0 1 2 5 15
touch /var/run/rsync-4b239efa-b19e-4444-af6a-1b4aa0310dd9
echo "Please wait, syncing </media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Telephone - Rushs//> to <rsync://root@192.168.1.4:/dblBackup> ...\n"
env RSYNC_PASSWORD="******" rsync --verbose --log-file="/var/log/rsync.log" --recursive --times --compress --archive --delete --perms -e ssh '/media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Telephone' rsync://root@192.168.1.4:/dblBackup & wait $!

sachant que je viens de remplacer mon partage par "Enzo" à la place de Telephone - Rush

je ne sais pas ou ce dernier s'est inscrit du coup... je pense que je vais virer la tâche et la recréer.

higs · le 10 janvier 2016

Bon, en effet changer de répertoire n'a pas fait que OMV l'a correctement pris en compte (en édition je retomber sur Enzo, mais je n'avais pas eu de confirmation d'application), donc je suppose que les modification passent pas une zone tampon avant écriture. et je pense que c'était donc du au tiret avec espace dans le nom du répertoire.

donc j'ai recréé la tache, sauvegarder, suis aller voir dans le nouveau fichier créer (qui est nommé différemment, doit être un numéro automatique), j'avais bien Enzo cette fois.

j'ai voulu l'executer par l'interface d'OMV :

Please wait, syncing </media/b88d0e53-c278-4c39-9e17-194741420d43/VideosPrivee/Enzo//> to <rsync://root@192.168.1.4:/dblBackup> ...

n unexpectedly closed (0 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(605) [sender=3.0.9]

je vais tenter via la commande direct.

Via la commande... c'est en cours j'attends la fin pour voir car pour le moment aucun fichier arrivé.

Eh mince...

répertoire vide, et message d'erreur

root@NAS2:~# rsync -e ssh -avz '/media/b88d0e53-c278-4c39-9e17-194741420d43/Vide osPrivee/Enzo//' root@192.168.1.4:/dblBackup
root@192.168.1.4's password:
sending incremental file list
created directory /dblBackup
./
Enzo - Hobo.mp4
Enzo1 - Naissance.mp4
Enzo10 - Ete2009.mp4
Enzo11 - Oct2009.mp4
Enzo12.mp4
Enzo13 - Noel 2009.mp4
Enzo2 - Mois 1.mp4
Enzo3 - JuinOct2008.mp4
Enzo4 - Bapteme.mp4
Enzo5 - Nov2008.mp4
rsync: writefd_unbuffered failed to write 4 bytes to socket [sender]: Broken pipe (32)
rsync: write failed on "/dblBackup/Enzo5 - Nov2008.mp4": No space left on device (28)
rsync error: no space on remote server (code 41) at receiver.c(356) [receiver=3.0.9]
rsync: connection unexpectedly closed (202 bytes received so far) [sender]
rsync error: unexplained error (code 43) at io.c(605) [sender=3.0.9]
root@NAS2:~#

higs · le 10 janvier 2016

Mon problème est résolu grâce à l'immense aide de Fenrir que je tiens à remercier. Pour sa courtoisie, sa patience et sa volonté à ne pas lâcher le morceau, et la réponse à mes questions.

Je me permet donc de partager la solution que j'ai reproduis sur un autre nas qui a également fonctionné

Rappel : Il s'agit de synchroniser des dossier via rSync entre OpenMediaVault (en Push) vers le Synology

Dans le synology :

Création du répertoire partager dans le synology
File Station, bouton créer, créer un nouveau dossier partagé
renseigner le nom puis valider
ajouter les permission en lecture/ecriture si nécessaire et valider

dans le module de sauvegarde et réplication, aller dans services de sauvegarde
activer le service de sauvegarde réseau, appliquer

Sur vos NAS sous OpenMediaVault (OMV) :

Dans l'interface Web, vérifier dans la section "Services/SSH"
que l'authentification par clef publique soit activé
la connexion root
tunnels via SSH et que le SSH soit activé

Dans "services/Rsync"
Ajouter une tâche
type : Distant
Mode : Pousser
Dossier partagé : votre dossier défini depuis le module du même nom dans OMV
le serveur de destination : root@IPDuSynology:/volume1/repertoirePartage
pas de mot de passe
activé l'envoi par mail pour savoir si tout c'est bien passé, vous pouvez le désactiver plus tard.

Valider

Maintenant il faut que les 2 Nas soient autorisés à communiquer

étape 1:

Pour ce faire j'utilise le logiciel WinSCP qui me permet de me connecter aux Nas tel un explorateur.
Ouvrir une connexion en root sur votre Nas sous OMV
aller dans le repertoire /root/.ssh
vous devrier voir sa clé publique "id_rsa.pub"

ouvrir une nouvelle connexion en root vers votre synology
aller également dans /root/.ssh
créer le fichier autorized_keys s'il n'existe pas.
l'ouvrir en edition

sous votre session OMV ouvrir votre fichier "id_rsa.pub" en edition
recopier la clé à la suite dans le fichier autorized_keys de votre session synology

refermer de part est d'autre.

étape 2:

Il reste maintenant à ce que votre NAS sous OMV connaisse votre synology.
ouvrir une console via putty ou Kityy (que moi j'utilise) vers votre Nas sous OMV en root
lancer la commande suivante :
ssh root@IPDuSynology

valider votre mot de passe et vous avez une demande "d'empreinte" à valider par "yes" qui aura comme conséquence d'ajouter le fichier /root/.ssh/known_hosts sur votre nas OMV
quitter une fois la connection établie.

Rendez vous dans l'interface web de OMV pour exécuter votre rsync, vérifier la réception de vos fichier sur votre Synology.

et voilà !

Modifié le 10 janvier 2016 par higs
partie code (3ème): suppression coloration syntaxique

Fenrir · le 10 janvier 2016

Petite précision, il y a plusieurs manière du faire du rsync, dans le cas présent c'est du rsync au travers de ssh, mais on peut aussi faire du rsync en direct (client-serveur), le pb de @higs était qu'il y avait un mixe de conf ssh et rsync (faute de syntaxe que j'ai mis un moment à voir)

Sinon :

Pour créer une paire de clef : ssh-keygen -t rsa -b 4096
Pour installer une clef publique : ssh-copy-id -i /chemin/vers/la/clef/publique login@serveur

higs · le 9 avril 2016

Le 9/1/2016 at 14:45, Fenrir a dit :

Petite précision, il y a plusieurs manière du faire du rsync, dans le cas présent c'est du rsync au travers de ssh, mais on peut aussi faire du rsync en direct (client-serveur), le pb de @higs était qu'il y avait un mixe de conf ssh et rsync (faute de syntaxe que j'ai mis un moment à voir)

Sinon :

Pour créer une paire de clef : ssh-keygen -t rsa -b 4096

Pour installer une clef publique : ssh-copy-id -i /chemin/vers/la/clef/publique login@serveur

Je viens de remarquer que depuis la mise à jour DSM 6, je n'ai plus de backup qui se fais de mon OpenMediaVault vers pour DS414.

J'ai voulu refaire la procédure que j'avais mise ci dessus, mais plus moyen de me connecter en root au synology...

idem sur mon autre synology, pas moyen de me connecter via ssh en root.

Fenrir · le 9 avril 2016

Une petite lecture des notes de mise à jour et une recherche sur le forum et tu aurais vu que le ssh en root ne se fait pus par mot de passe

Connexion

[resolu] Rsync vers mon DS414 à partir de OMV

Messages recommandés

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Lien vers le commentaire

Partager sur d’autres sites

Rejoindre la conversation

Qui est en ligne 2 membres, 0 anonyme, 579 invités (Afficher la liste complète)

Contributeurs populaires

Information importante