[TUTO] Monitorer sa Freebox Revolution

[Jeff777]

Bonjour @bruno78

Est-ce qu'il y a une méthode pour installer Python en dur sur le NAS. Cela fait 2 fois en 2 jours que je le réinstalle .

J'ai l'impression qu'il disparait lorsque je démonte et remonte le container telegraf suite à une modif (nouveau plugin par exemple). A chaque fois  il me faut  ré-enregistrer l'appli sur la freebox, et pour que la commande :

python3 freebox_059.py -r

fonctionne, il faut obligatoirement réinstaller python......et  c'est assez long?.

Par exemple  l'installer ailleurs que dans telegraf pour qu'il soit persistant. Si tu as une idée je suis preneur 😉

 

[bruno78]

Bonjour @Jeff777,

peux-tu préciser stp ce que tu entends par "je démonte et remonte" le container ? Tant qu'on ne le supprime pas et donc qu'on ne le reconstruit pas,   le python est persistant dans le container telegraf.  Par contre si tu as effacé ton container, pas le choix, il faut re-installer python. Par ailleurs, cela n'a rien à voir avec le Python sur le NAS (rem : en version DSM7, python 3 est intégré de base dans DSM 🙂 )

Je n'ai enregistré ma Freebox qu'une seule fois, lorsque j'ai dû la changer. D’ailleurs, si tu conserves et sauvegarde  le fichier ".credentials" qui se trouve dans ton répertoire docker/fbx_telegraf/py (là où tu as le script), il te suffit de le replacer à cet endroit pour ne pas avoir à refaire l'authentification (question sécurité on repassera ....) la fois suivante ....

Je ne sais pas si j'ai répondu ?

Cdt

Bruno78

PS : quant à installer python en dehors du Docker mais utilisable par le docker, ..... on a essayé, on s'est cassé les dents .... rien à faire !

Modifié le 15 octobre 2020 par bruno78

[Jeff777]

il y a 2 minutes, bruno78 a dit :

Je ne sais pas si j'ai répondu ?

farpaitement ! Oui je l'avais supprimé (docker-compose down) et oui je vais sauvegardé le .credential (il l'était déjà d'ailleurs !) Merci !!

[oracle7]

@bruno78

Bonjour,

Pour monitorer ta freebox, je suppose que au travers du fichier "telegraf.conf" on réfère à un ou des fichiers "MIB" spécifique(s) de la freebox.

Mes questions :

• Ccomment sont pris en compte ce ou ces fichier(s) MIB ?
• As-tu dans "volumes:" de "ton docker-compose.yml" mis en place un montage particulier pour ce/ces fichier(s) "MIB" ?

Je serais curieux de savoir comment tu as fait  à ce niveau car je souhaites de mon coté monitorer mes caméras vidéo et je n'arrive pas à faire prendre en compte le fichier MIB de celles-ci. Même en le mettant dans le répertoire des MIB Synology, il n'est pas pris en compte.😧

Cordialement

oracle7😉

 

[stee]

Bonjour,

J'ai voulu faire le setup pour accéder à grafana depuis internet et donc j'ai configuré les ports sur la freebox 443 et 80 vers la VM ou se trouve traefik pour faire le NAT. Sauf que je récupère un GATEWAY TIMEOUT.

J'utilise un nom de domaine toto.mondomaine.com pour y accéder , je sais que mon NAT fonctionne car j'ai testé IP public freebox:port direct ça c'est ok.

La question c'est pourquoi ça route pas avec le nom de domaine ? dans ma conf DNS j'ai  A toto.mondomaine.com ipfreebox

Si avez une idée je suis preneur, j'ai oublié quelque chose c'est sur.....  

@+  

 

 

[bruno78]

@oracle7,

désolé, je n'avais pas vu la notification, mais entre temps tu as réglé ton problème de MIB pour les cameras. Pour le monitoring de la Freebox, on s'appuie sur un script Python qui lui va aller chercher, via l'api Freebox, les valeurs à récupérer. Donc dans le docker telegraf, on monte simplement un repertoire contenant le script Python, le fichier telegraf.conf, et enfin si besoin un fichier de log.

@stee,

comment est routé ton domaine toto.mondomaine.com ?

Cdt

Bruno78

 

[stee]

@bruno78

Justement c'est là le prob , j'ai l'impression que mon grafana ne communique pas avec le conteneur Traefik , je pensais que ceci se faisait automatiquement étant sur la même VM docker.

 

[bruno78]

@stee,

je ne connais Traefik. Peux-tu stp décrire (ou un schema rapide) ta configuration .....

[stee]

@bruno78

J'ai résolu le problème, le routage était pas bon entre le proxy traefik et mon container grafana, tout les deux avait un network different. Je me suis fait avoir avec le routage de traefik croyant qu'il allait faire le taf mais c'est juste un prob docker en fait.

Ceci dit Traefik 2 en reverse-proxy pour la freebox c'est assez cool , plein de choses à faire pour des accès depuis le net sécurisé avec un nom de domaine/sous-domaine https etc. 

Ci besoin je peux pousser un post sur le sujet pour toutes les box.

@+  

[bruno78]

@stee,

on ne refuse jamais un petit post explicatif et instructif .... 🙂

Cdt

[.Shad.]

Traefik est un reverse proxy qui crée les redirections automatiquement lors de la création d'un conteneur.
Il fonctionne sur base des labels.
Donc par exemple quand je crée un conteneur Nextcloud, en ajoutant les labels demandés par Traefik, à l'instant où l'application est fonctionnelle l'accès par reverse proxy aussi.

Seul bémol, les applications qui n'utilisent pas Docker (les applications Synology par exemple) ne sont pas prises en charge.

[stee]

@.Shad.

Hello Shad,

Tu peux faire une redirection de ton url externe même si ce n'est pas un "contenainer" avec le numero de port . Il faut déclarer le provider file dans la conf car effectivement il ne peut pas être découvert en auto par traefik .

 

 

[.Shad.]

Ah je ne savais pas 🙂 

Merci 😉 

[Jeff777]

Bonjour @bruno78

J'ai un problème aléatoire avec le dashboard freebox  qui se déconnecte assez souvent.

J'ai tenté de relancer le docker-compose de grafana, mais toujours pareil. Par contre j'obtiens ceci avec la commande down :

Stopping grafana ... done
Removing grafana ... done
Network data_export is external, skipping
 

Il ne me semble pas avoir vu la dernière ligne auparavant. Est-ce que c'est un problème?

Le reconstruction du container semble se passer correctement

[.Shad.]

Vu que tu as créé le réseau en dehors du fichier docker-compose, il te précise juste qu'il n'a pas supprimé le réseau. Il reste là disponible pour y adjoindre les conteneurs qui en font la demande.

Donc c'est tout à fait normal, et même rassurant. 😉 

[Jeff777]

Merci pour ta réponse @.Shad.

Je suis rassuré 😄. mais toujours des pb de déconnection avec des fenêtres rouge "unauthorized". Mais il suffit de rafraichir la page et de se reconnecter.

 

Modifié le 10 novembre 2020 par Jeff777

[bruno78]

Bonjour @Jeff777,

les problèmes de déconnexion avec la fenêtre rouge "unauthorized" .... Peux tu vérifier au niveau du journal telegraf si tu n'aurais pas par hasard des "timeout" pour la récupération des données par telegraf sur la Freebox ?

ou un autre type d'erreur ? De mon côté j'ai été obligé d'augmenter légèrement le timeout dans telegraf.conf parce que la freebox avait du mal à tout me récupérer dans le temps imparti. Je suis passé de 5 à 8 sec.

Bruno78

[Jeff777]

Salut @bruno78

Bien vu ! Dans le journal j'ai effectivement des "timeout"s à la date d'hier. Mais depuis j'ai eu un doute sur une récente installation d'un container Jellyfin. J'ai repris l'installation et Jellyfin fonctionne beaucoup mieux et...grafana est redevenu stable. 🙂

[bruno78]

@Jeff777,

par ailleurs, de mon côté je fais quelques évolutions sur le script python pour la Freebox (sur le DHCP), et je suis toujours à la limite :

1. je viens de passer le polling interval à 15s au lieu de 10sec, (donc le flush interval également à 15sec) et le timeout à 12sec.
2. je me suis aperçu que j'étais assez restrictif sur la mémoire allouée au docker fbx_telegraf. Je viens de le passer de 75M à 150M. A voir si cela supprime des message d'erreur aléatoires que j'ai de temps en temps. Mais en tout cas le docker fbx_telegraf s'est empressé d'utiliser cette espace mémoire supplémentaire. Donc je me dis que ça ne peut être que bénéfique.

Bruno78

[Jeff777]

il y a 21 minutes, bruno78 a dit :

je viens de passer le polling interval à 15s au lieu de 10sec, (donc le flush interval également à 15sec) et le timeout à 12sec.

Euh tu peux préciser. Je ne sais pas où ça se trouve. J'ai 1 mn en haut à droite des Dashboard comme interval de rafraîchissement. C'est cela?

il y a 26 minutes, bruno78 a dit :

je me suis aperçu que j'étais assez restrictif sur la mémoire allouée au docker fbx_telegraf. Je viens de le passer de 75M à 150M

J'ai gardé 75M et je n'ai qu'un seul containeur telegraf pour les 4 dashboards et depuis ce matin c'est fluide sans décrochement.

[bruno78]

@Jeff777,

pour le polling time, c'est dans le fichier de conf de telegraf : telegraf.conf.

ligne 25 :

# Configuration for telegraf agent
[agent]
  ## Default data collection interval for all inputs
  interval = "15s"

ligne 51 :

  ## Default flushing interval for all outputs. Maximum flush_interval will be
  ## flush_interval + flush_jitter
  flush_interval = "15s"

Puis dans les "input plugins" pour la partie Freebox (vers ligne 1681 mais ca depend où tu l'as positionné dans ton fichier)

###############################################################################
#                            INPUT PLUGINS                                    #
###############################################################################

###############################################################################
#                            INPUT PLUGINS FREEBOX                            #
###############################################################################

# Read metrics from one or more commands that can output to stdout
[[inputs.exec]]
  ## Commands array
  #
# API freebox OS V8

commands = ["python3 /usr/local/py/freebox_059.py -WXDHSP"]

  ## Timeout for each command to complete.
#  timeout = "5s"
  timeout = "12s"

 

Modifié le 11 novembre 2020 par bruno78

[Jeff777]

EUH pardon...bien sûr

En fait j'ai le telegraf.conf du tuto de @.Shad. pour le NAS auquel j'ai ajouté les plugins Edgemax, unifi et freebox.

Donc respectivement les valeurs 10s,10s et 5s je ne les ai pas changées.

[bruno78]

OK, pas de soucis.

Moi j'ai un peu segmenté les choses : 3 dockers telegraf sur le NAS : 1 pour le NAS lui-même, 1 pour la Fbox et 1 dédié à la collecte de logs. + des telegraf "satellites" : 1 sur une VPS OVH, 1 sur un Rasp Pi. Les tout remonte vers des databases différentes de la même instance influxdb, puis vers grafana.

Disons que quand je fais des tests ciblés, ca évite de faire tout planter. Au pire je ré-initialise le telegraf qui me pose problème, et j'efface et je recrée la database concernée d'influxdb.

[Jeff777]

Bonjour @bruno78

Je reviens sur mon soucis de déconnexion du monitoring freebox. Cela m'arrive régulièrement lors d'un redémarrage de la box ou du NAS. Le fichier .credential est toujours en place, freebox OS annonce toujours grafanamonitor mais le dashboard affiche no data.

Impossible de relancer la commande python3, je suis obligé de me retaper les 7 commandes précédentes ce qui est assez long. N'aurais-tu pas une idée géniale pour éviter la réinstallation complète de python3, ou pour l'alléger car installer autant de fichiers pour une malheureuse commande ça semble disproportionné  🙄

Voilà ce que j'obtiens après avoir repris ton tuto au niveau de l'installation de python 3 (7 commandes) :

et après cela les données s'affichent à nouveau sur le dashboard.

Donc je me dis qu'il n'est peut-être pas nécessaire de faire autant de manoeuvres.

Si tu as une idée.......sans y passer trop de temps car moi j'en ai à revendre 🤣

[bruno78]

Bonjour @Jeff777,

tout d'abord je ne m'explique pas ces deconnexions intempestives. Je redemarre la box ou le NAS (bon pas tous les jours non plus !) mais c'est arrivé une fois ou 2 ces derniers temps, et je n'ai jamais à tout reconstruire !

Pour ce qui est d'éviter de tout retaper à chaque fois, je pense (je suis sûr) qu'il y a moyen de sauvegarder l'image une fois modifiée. Je vais regarder les docs Docker.

Bruno78