Erreurs récurrentes des tâches de sauvegarde ou d'installation de paquet : Espace disque insuffisant sur la partition système root : comment corriger ?

[Jeff777]

Bon courage @MilesTEG1

[MilesTEG1]

Merci @Jeff777

 

Je viens de me rendre compte d'un truc.
Pour gérer mes instances de Portainer, je passe par portainer agent sur chaque machine.
Et tout est centralisé sur mon Syno... Donc sur les portainer des autres machines, j'ai bien accès aux conteneurs créés : je peux les arrêter/démarrer/redémarrer/supprimer.
Mais je n'ai pas accès aux stacks qui les as créés... vu que tout est sur le Syno...

Jusqu'à maintenant je ne trouvais pas ça gênant de tout avoir sur la même machine...
Mais là, ça va le devenir...

Comment faites-vous pour gérer plusieurs machines docker ?
Vous faites comme moi : plusieurs instances portainer + Agent -> accès via un portainer central ?

Ou bien faites-vous autrement ? Comme par exemple accès à chaque machine séparément, sans lien entre-elles ?

 

 

[.Shad.]

Portainer permet de faire un export de sa configuration, tout a roulé à la restoration quand j'ai eu besoin de le faire. Par contre il faut bien sauvegarder tes données de volume.

Modifié le 21 mars par .Shad.

[MilesTEG1]

il y a 22 minutes, .Shad. a dit :

Portainer permet de faire un export de sa configuration, tout a roulé à la restoration quand j'ai eu besoin de le faire. Par contre il faut bien sauvegarder tes données de volume.

C'est bien ça le problème. 
Je suis sûr qu'il y a des volumes volatiles non mis en bind-mount sur le chemin docker /volume4/docker/conteneur_i/ ...

Tu peux me confirmer que ce genre de volume reste sur les machines où le conteneur est créé/lancé ? et qu'ils ne sont pas sur la machine qui centralise la gestion via portainer ?

[.Shad.]

@MilesTEG1 Si Portainer central est installé sur A, et que tu te connectes à B via Portainer agent, les données sont stockées sur B. Portainer n'est qu'une interface plus évoluée de Container Manager. Ce que tu pourrais rencontrer par contre ce sont des stacks orphelines lors de la restoration, si Portainer n'arrive pas à refaire lui-même le lien avec un dépôt Git.

Modifié le 21 mars par .Shad.

[MilesTEG1]

Il y a 7 heures, .Shad. a dit :

Ce que tu pourrais rencontrer par contre ce sont des stacks orphelines lors de la restoration, si Portainer n'arrive pas à refaire lui-même le lien avec un dépôt Git.

Je vais probablement ne plus utiliser le dépôt gitea pour faire mes stacks.

Ça a des avantages mais plus d’inconvénients pour moi, vu que j’auto-heberge mon gitea.

le copié/coller dans l’éditeur de portainer me semble finalement plus pratique.

car rien que la stack de création de gitea lui même ne peut être fait via le dépôt !

meme chose pour swag.

je ne veux pas mettre ça sur GitHub même en’ privé, j’ai des infos de connexion dans les .env et parfois dans les docker compose.

[MilesTEG1]

Hello,

Bon le backup est encore en cours... moyenne de 40-50 MB/s malgré l'adaptateur 2,5GbE, le swtich 2,5GbE et la carte réseau aussi 2,5GbE de l'asustor... (backup sur des SSD dans l'asustor).

@.Shad. J'ai pu restaurer le backup de mon instance portainer du Syno sur une nouvelle instance que j'appelle Superviseur sur un NUC dans une VM Debian.

J'ai retrouvé l'accès aux stacks de toutes mes instances, sauf pour celles du Syno, car la machine ayant changé, j'ai du les supprimer. Et installer l'agent sur le Syno et le lier au Superviseur.

Bref, comme le Syno va finir formaté, c'est pas bien grave. Me faut juste vérifier que toutes ses stacks sont sur Gitea ^^

 

Sinon, j'ai vu qu'on pouvait réinitialiser le NAS depuis DSM et donc réinstaller DSM :

Est-ce que ça formatte vraiment tous les disques ?

Si c'est le cas, je peux lancer la procédure à distance, et lancer Synology Assistant sur un Windows en VM pour finaliser.
Mais sinon, ça va vouloir dire que je vais devoir sortir les disques et les formater en dehors du NAS...
Enfin, sortir le dernier que je n'aurais pas effacer depuis DSM 🙂 

[.Shad.]

C'est l'option à utiliser pour un formatage total oui.

Il y a 3 heures, MilesTEG1 a dit :

je ne veux pas mettre ça sur GitHub même en’ privé, j’ai des infos de connexion dans les .env et parfois dans les docker compose

Si tu mets tes infos dans des .env rien n'apparaîtra sur Github, car tu les chargeras avec :

env_file:
  - stack.env

Et si tu passes tes stack en version 3+ tu peux utiliser les docker secrets au besoin.

 

Modifié le 22 mars par .Shad.

[MilesTEG1]

il y a 49 minutes, .Shad. a dit :

C'est l'option à utiliser pour un formatage total oui.

Ha cool ça alors, donc ça supprime toutes les partitions, et donc ça pourra récréer les partitions root à 8Go ?

 

il y a 51 minutes, .Shad. a dit :

Si tu mets tes infos dans des .env rien n'apparaîtra sur Github, car tu les chargeras avec :

env_file:
  - stack.env

Et si tu passes tes stack en version 3+ tu peux utiliser les docker secrets au besoin.

Ha ! Donc les .env ne seront pas envoyés sur GH ?

Pour les docker secrets, je ne sais pas comment ça fonctionne, bien que j'en ai entendu parler.

[.Shad.]

il y a 44 minutes, MilesTEG1 a dit :

Ha cool ça alors, donc ça supprime toutes les partitions, et donc ça pourra récréer les partitions root à 8Go ?

Oui

il y a 44 minutes, MilesTEG1 a dit :

Ha ! Donc les .env ne seront pas envoyés sur GH ?

Non

[Mic13710]

il y a une heure, MilesTEG1 a dit :

Ha cool ça alors, donc ça supprime toutes les partitions, et donc ça pourra récréer les partitions root à 8Go ?

Je n'en suis pas aussi sûr. On parle d'effacement des données et de remise à zéro des paramètres. Pas du tout de réinstallation de DSM. Pour moi, les partitions ne sont pas modifiées avec cette option. Mais je peux me tromper 🙂

Edit :

A la réflexion, il n'est pas possible que cette option puisse changer quoi que ce soit au système de partition. En effet, cela passe obligatoirement par une installation de DSM, ce qui ne peut se faire qu'à partir d'un fichier .pat via Synology Assistant.

[.Shad.]

@Mic13710 J'ai déjà utilisé cette fonction par le passé (mais il n'y avait pas encore eu l'augmentation de taille de la partition root) et il a fallu que je réinstalle DSM via Synology Assistant.
Alors est-ce que pour autant il détruit toutes les partitions, il faudrait vérifier en montant les disques depuis une distribution live linux.

Modifié le 22 mars par .Shad.

[Mic13710]

@.Shad. Si ça passe par une réinstallation de DSM, alors il est possible que les partitions soient réactualisées. Mais il faut avant cela IMPERATIVEMENT supprimer la partition des données (volumes et groupes) sans quoi la partition système ne pourra pas être étendue.

De toute manière, il faudra que @MilesTEG1 vérifie que c'est bien le cas à la fin de l'opération et avant de créer le ou les groupes.

[MilesTEG1]

Ok je vérifierais avant de tout refaire niveau stockage.

deja une fois les sauvegardes finies (elles sont encore en cours …), je supprime les volumes , j’efface les disques effaçables depuis dsm , je casse le shr principal en gardant un seul disque , l’autre est effacé et ensuite je verrai.

est-ce qu’on peut depuis synolgy assistant formater le dernier disque et réinstaller dsm ?

[MilesTEG1]

Il y a 8 heures, Mic13710 a dit :

De toute manière, il faudra que @MilesTEG1 vérifie que c'est bien le cas à la fin de l'opération et avant de créer le ou les groupes.

@Mic13710 @.Shad. @Jeff777

Est-ce que c'est bon ça ?

Je pense que oui  🙂

J'ai fait la réinitialisation depuis DSM, puis réinstallation de DSM depuis Synology Assistant.

[Lelolo]

Je viens de faire le contrôle chez moi, et j'ai un md0 à 2,3 Go, donc je pense que pour toi c'est bon

[MilesTEG1]

Nickel 🙂

Merci.

Je vais quand même sortir les disques et passer un coup de formatage rapide depuis un ordinateur (sauf les NVMe, car je n'ai pas ce qu'il faut).
Je vais aussi en profiter pour passer les 4 To en secteurs 4k au lieu de 512 (faut encore que je retrouve comment faire XD)

 

[MilesTEG1]

salut 👋🏻 

Dites hier j’ai voulu restaurer ma sauvegarde dsm et il faut que je me connecte avec l’utilisa  « admin » qui est désactivé. C’est normal ?

je n’ai d’ailleurs pas vu d’option pour restaurer le .dss à l’installation de dsm.

[MilesTEG1]

Bon, et bien je n'ai pas tout récupéré comme avant...
Je n'ai plus aucune tâche de sauvegardes hypoerbackup, même après restauration des paramètres via le .dss.

Mais bon j'ai récupéré une bonne partie des paramétrages.
 

Par contre, la tâche de backup Rsync simple version ne peut pas être reconnectée... du coup je ne sais pas trop comment faire la restauration de ces données-là autrement que par un simple copier/coller via un montage SMB...

Vous avez une idée ?

J'ai fini par trouver comment faire pour restaurer depuis un référentiel existant. 
Mais j'ia cette erreur :

Une idée de pourquoi et comment rectifier ?

[MilesTEG1]

edit : bon bah la sauvegarde rsync monoversion ne passe pas.
En revanche, les multiversions veulent bien se laisser restaurer.

Vous avez une technique pour restaurer les dossiers partargés qui ont été sauvegardés par un rsync sans verisonning ?

[MilesTEG1]

Bon je n'ai pas le choix que de passer par la ligne de commande pour lancer rsync.
Mais impossible de lancer depuis l'asustor, car je n'arrive pas à me connecter sur le Syno...
Alors que l'inverse est possible.

Je me suis fait un petit script pour copier le contenu des dossiers :

#!/bin/bash

folder_name_list="/volume1/homes/MonUserADMIN/folder_name_list.log"
rsync_LOG_FILE="/volume1/homes/MonUserADMIN/rsync-restauration_depuis_asustor.log"

echo "Copie du contenu des dossiers sauvegardés via Rsync vers le Syno, dossier par dossier"

while read -r line; do

    if [[ "${line}" == "" ]]; then
        printf "\nDossier %s sans nom. On passe." "${line}"
    else
        printf "\nCopie rsync du dossier : %s ...\n" "${line}"

        rsync --password-file=/volume1/homes/MonUserADMIN/secret_rsync_pwd_asustor -avXh --progress --stats --exclude={'@eaDir','#recycle','~$*.*','~*','~*.tmp','desktop.ini','.DS_Store'} --log-file="${rsync_LOG_FILE}" rsync://MilesBackup@192.168.2.203:/Backup-TMP-Syno/Backup_Temp_Syno/"${line}"/ /volume1/"${line}"/

    fi
done <"$folder_name_list"


printf "\n\nCopie du contenu des dossiers sauvegardés via Rsync vers le Syno, dossier par dossier terminé.\n"

J'ai la liste des dossiers dans le fichier folder_name_list, et le mot de passe rsync dans le fichier secret_rsync_pwd_asustor.

Je ne comprends pas pourquoi je n'arrive pas à avoir une communication rsync depuis l'asustor vers le Syno...

Je précise que la commande ssh fonctionne bien.

[Kramlech]

Est-ce qu'au niveau du Syno, tu as bien activé le service rsync ?

[MilesTEG1]

il y a 20 minutes, Kramlech a dit :

Est-ce qu'au niveau du Syno, tu as bien activé le service rsync ?

Oui bien entendu 😊

sur un autre port que le 22.

pour mon script , j’ai des erreurs rsync de copie (faudra que je le relance pour faire un copier coller ici), j’ai arrêté le script (d’ailleurs pas le choix que de relancer la connexion ssh sinon un ctrl+c ne fait rien…)

[MilesTEG1]

Bonjour à tous,

Pour ma curiosité personnelle, comment puis-je réussir à établir une connexion rsync depuis l'asustor vers le Syno depuis l'asustor lui-même ?

[MilesTEG1]

Ha, je crois qu'un fois, j'avais fait quelque chose comme ce qui est décrit dans le lien suivant :

https://linuxconfig.org/how-to-setup-the-rsync-daemon-on-linux

 

 

Sinon, après presque 12h, la grosse sauvegarde a été restaurée... mais affichait un message d'échec, car deux applications n'ont pu être restaurée : Universal Search, et un autre dont j'ai oublié le nom.
Toutes les autres applications ont pu être restaurées. Toutes les tâches Hyperbackup sont présentes 🥳, mais faut que je les reconnecte.
Les 1,2 To ont pu être restaurés également.

J'en suis à la restauration des 600 Go restants via la commande rsync dans un terminal.
J'ai quelque peu modifié mon script pour pouvoir quitter avec un CTRL+C, et pour checker à la fin de chaque dossier s'il y a des erreurs :

#!/bin/bash
clear
declare -a source_folders_to_sync_ARRAY=()
declare -a destination_folders_ARRAY=()

folder_name_list="/volume1/homes/Miles-ADMIN/folder_name_list.log"
LOG_FILE="/volume1/homes/Miles-ADMIN/rsync_vers_Syno_script.log"
rsync_LOG_FILE="/volume1/homes/Miles-ADMIN/rsync-restauration_depuis_asustor.log"

if [ -f "${LOG_FILE}" ]; then
    echo "${LOG_FILE} exists, removing"
    rm "${LOG_FILE}"
fi


# while read -r line; do

#     if [[ "${line}" == "" ]]; then
#         printf "\nDossier %s sans nom. On passe." "${line}" 2>&1 | tee -a "${LOG_FILE}"
#     else
#         printf "\nCopie rsync du dossier : %s ...\n" "${line}" 2>&1 | tee -a "${LOG_FILE}"
#         source_folders_to_sync_ARRAY+=source_folders_to_sync_ARRAY("${line}")
#         destination_folders_ARRAY+=destination_folders_ARRAY("${line}")
#     fi
# done <"$folder_name_list"


echo "Création de la liste des dossiers à restaurer à partir du fichier $folder_name_list"
lines=$(cat $folder_name_list)
for line in $lines; do
    # echo "$line"
    if [[ "${line}" == "" ]]; then
        printf "\nDossier %s sans nom. On passe." "${line}" 2>&1 | tee -a "${LOG_FILE}"
    else
        # printf "\nCopie rsync du dossier : %s ...\n" "${line}" 2>&1 | tee -a "${LOG_FILE}"
        source_folders_to_sync_ARRAY=( "${source_folders_to_sync_ARRAY[@]}" "${line}" )
        # source_folders_to_sync_ARRAY+=source_folders_to_sync_ARRAY( "${line}" )
        # destination_folders_ARRAY+=destination_folders_ARRAY("${line}")
    fi
done


echo "Copie du contenu des dossiers sauvegardés via Rsync vers le Syno, dossier par dossier" 2>&1 | tee -a "${LOG_FILE}"

for folder in "${source_folders_to_sync_ARRAY[@]}"; do
    folder_dest="${folder}"

    printf "\n\t--> Dossier source \"%s\" qui va être restauré avec le dossier de destination \"%s\" sur le Synology\n" "${folder}" "${folder_dest}" 2>&1 | tee -a "${LOG_FILE}"
    
    # read -n 1 -r -s -p "Press any key to continue..." key
    
    rsync --password-file=/volume1/homes/Miles-ADMIN/secret_rsync_pwd_asustor -avh --progress --stats --exclude={'@eaDir','#recycle','~$*.*','~*','~*.tmp','desktop.ini','.DS_Store'} --log-file="${rsync_LOG_FILE}" rsync://MilesBackup@192.168.2.203:/Backup-TMP/Backup_Temp_Syno/"${folder}"/ /volume1/"${folder_dest}"/  2>&1 | tee -a "${LOG_FILE}"

    read -n 1 -r -s -p "Press any key to continue..." key

    # printf "\n"
done


printf "\n\nCopie du contenu des dossiers sauvegardés via Rsync vers le Syno, dossier par dossier terminé.\n" 2>&1 | tee -a "${LOG_FILE}"