Sauvegarde de site web

[hacr]

Bonjour

Responsable d'un site web hébergé chez un prestataire, j'ai été échaudé par le double incendie OVH, et j'ai donc mis en place un script de sauvegarde automatique du site web sur mon synology domestique.

Via le planificateur de taches, j'ai mis en place un script assez simple:

wget -m ftp://login:password@dns-répertoire-site/* -P /volume1/Disque1/espace-syno-de-sauvegarde/archives   pour télécharger les fichiers du site,

tar -zcvf /volume1/Disque1/espace-archive-compressée/backup-$(date +%Y-%m-%d-%H-%M-%S).tar.gz /volume1/Disque1/espace-syno-de-sauvegarde/archives/ pour compresser ce que j'ai téléchargé, avec la date de sauvegarde dans le nom,

et enfin:

rm -rf /volume1/Disque1/espace-syno-de-sauvegarde/archives/ pour nettoyer les fichiers téléchargé une fois le tar.gz réalisé.

 

Cela fonctionne parfaitement, au hic près suivant: cela met 2h30, car il y a en gros 3,5Go de data, et à peu près 100000 fichiers.

 

Ce que je souhaite faire, et qui est plus logique:

créer un tar.gz sur le serveur distant dans un répertoire temporaire

Télécharger le fichier tar.gz sur le syno

Supprimer le tar.gz distant une fois le téléchargement terminé. Cela prendrait 10mn à tout casser...

Et c'est là que ça coince, je n'arrive pas à trouver la bonne syntaxe du tar.

Je fais donc appel à la collectivité pour un petit soutien!

Merci beaucoup!

[.Shad.]

Perso j'utilise BorgBackup qui gère tous les aspects d'une sauvegarde, chiffrage, versionning, incrémentabilité...

Pour sauvegarder mon VPS et mes Rpi sur mon NAS.

[hacr]

Bonjour.

Je reviens vers ce post, borgbackup ne m'ayant pas permis d'aboutir.

Je fais évoluer ma demande: est-il possible de monter un accès sftp sur un répertoire local de syno? Cela me permettrait d'appliquer les requêtes de compression et de récupération en "local".

Merci!

Modifié le 25 avril 2021 par hacr
mauvais choix de mot

[hacr]

Bonjour

Le site web ayant grossi et évolué, la solution utilisée était passée à plus de 5 heures, pour presque 6 Go de fichier tar.

Du coup j'ai changé de braquet et trouvé la solution crontab d'un serveur linux:

J'ai installé tout d'abord sshpass, pour transmettre le mot de passe dans une ligne de commande.

Cela donne la syntaxe complète suivante de tar distant:

sshpass -p motdepasse ssh -o StrictHostKeyChecking=no login@adressehebergeur tar czvf /chemin-du-backuo/backup-$(date +%Y-%m-%d-%H-%M-%S).tar.gz /chemin-du-repertoire-à-sauver/

Explication:

sshpass -p motdepasse c'est pour préparer la commande ssh qui suit, pour y transférer le mot de passe. 

-o StrictHostKeyChecking=no c'est l'option qui permet d'éviter le check de la clé hôte (important dans un script). 

backup-$(date +%Y-%m-%d-%H-%M-%S).tar.gz c'est pour créer un fichier tar horodaté.

J'ai mis ça en crontab pour compresser à distance le répertoire du site web, tous les jours à 1h du matin. Ca prend 5mn de compression

Suivi d'une autre commande crontab de téléchargement 5mn plus tard (pour laisser une marge)

wget -m ftp://login:motdepasse@adressehebergeur/chemin-du-backup/*.tar.gz -P /chemin-local-sauvegarde/

Ce qui prend 3 mn

Je termine enfin par un simple

sshpass -p motdepasse ssh -o StrictHostKeyChecking=no login@adressehebergeur rm /chemin-du-backup/*.tar.gz

pour effacer le fichier backup distant, une fois le tar.gz rapatrié.

 

Résultat: j'ai transformé plus de 5 heures de téléchargement de milliers de fichiers en 10mn de transfert d'un seul gros fichier. 

Si cela peut aider....