[TUTO] Monitorer sa Freebox Revolution

[Jeff777]

il y a 1 minute, .Shad. a dit :

quand la connexion adsl est vraiment trop faible ?

Bonjour @.Shad.

Peut-être "vraiment trop faible" dans la France profonde, mais pour mon cas même si c'est trop faible pour l'usage d'un NAS,  je reçois la TV correctement ou internet confortablement. Simplement il faut choisir soit la TV correctement soit internet et quand je branche les caméras ça devient problématique. Je suis à 3.9 km du NRO, donc je ne peux pas bénéficier du VDSL.

D'autres parts j'avais fait des essais de mesures 4G avec ma tablette, il se trouve que je suis à égale distance de 3 antennes assez éloignées et la conclusion était que de passer en 4G n'était pas la solution miracle.

J'attends donc avec impatience la Fibre qui est en train d'être installée dans mon village en priant pour que la petite dizaine d'habitations de mon impasse en bordure de bois ne soit pas oubliée. 

[Jeff777]

Bonjour @bruno78

Je suis en train de peaufiner mon dashboard et j'ai du mal à interpréter correctement les champs.

Par exemple pour le débit :

Existe-t-il un lexique complet des significations exactes de ces champs. 

J'ai le même problème avec le NAS. Par exemple pour identifier les conteneurs docker.

[bruno78]

Bonjour @Jeff777

la j'avoue mon ignorance totale sur le xDSL. Ce sont les champs décrit sur l'API Freebox, ici en particulier pour le xDSL https://dev.freebox.fr/sdk/os/connection/#XdslStats

[.Shad.]

Le 10/05/2020 à 09:17, Jeff777 a dit :

J'ai le même problème avec le NAS. Par exemple pour identifier les conteneurs docker

Les conteneurs Docker auront pour nom sur Grafana la valeur que tu donneras à "hostname" dans Docker-compose ou Docker en ligne de commande.
Je ne sais pas si on peut le faire avec Docker dans DSM en revanche.

[Jeff777]

Salut,

Je ne pense pas car dans les "docker-compose" le "hostname" est celui du conteneur (grafana par exemple) et dans le dasboard les noms des conteneurs sont des suites hexadécimales

 

[bruno78]

Oui en fait : 

• pour les interfaces, effectivement il y a un peu de tout suivant le type d'interface: cela mériterait d'être décrypté :

 

• pour le docker, par exemple si on graphe le cpu ou la mémoire, on a bien le hostname configuré dans le docker compose : (à ceci prêt qu'il m'a aussi, pour certains, ajouté "control_" devant le hostname. "control" étant le nom du repertoire qui contient le docker-compose.yaml. Il faut que je regarde pourquoi , et pourquoi certains et pas d'autres)

 

Bref, il faut que je regarde quelle est la logique.

[.Shad.]

Ok bizarrement chez moi je n'ai pas ce souci :

https://ibb.co/SPL1K2F

Modifié le 11 mai 2020 par .Shad.

[bruno78]

Bonjour,

alors effectivement, si on utilise la table globale ifTable, les réferences docker sont "codées", du style "docker-e9f01980". Par contre, si on prend les données à partir de "docker_container_net", pas de problème.

 

Par contre je tourne en rond sur un autre type de monitoring : je souhaite avoir un monitoring global des containers dockers : un pavé synthétique vert/en marche ou rouge/arret pour chaque container ..... Quelles variables utiliser ? comment visualiser sur grafana ? comment as-tu codé ton pavé "container overview" ?

Bruno78

Modifié le 12 mai 2020 par bruno78

[Jeff777]

Salut,

Super ça marche. Mais je me demande comment tu fais pour trouver. Moi j'y vais plus ou moins au pif mais j'ai du mal. Tu as une méthode?

 

 

Modifié le 12 mai 2020 par Jeff777

[.Shad.]

Moi j'ai importé pas mal de dashboards depuis le site de Grafana, et regardé comment ils construisaient leurs queries pour adapter à mon cas.
Mon Dashboard général, seul le premier cadran concerne le NAS : Network overview-1589266328764.json

[bruno78]

@.Shad. merci pour le json. Je vais regarder

Sinon effectivement, pas de méthode miracle. De la lecture sur le site de Grafana, de l'import de nombreux exemples pour adapter, .... et de nombreux essais.  Mais au fur et à mesure, on finit quand même par savoir plus ou moins où aller.

[bruno78]

@.Shad.

j'ai donc repris ton json et adapté pour mon cas, et il me reste un problème ... . Lorsque je teste le changement d'état d'un docker, il passe bien en status arrêt (exit code = 137 !). Par contre, lorsque je relance le docker, il me reste au niveau de grafana 2 états : l'ancien état (137) et le nouvel état (0). Et je n'arrive pas à voir comment me débarrasser ce cet ancien état ! (cf. ci dessous, 2 états pour docker-socket-proxy). Il me manque encore une étape !

 

[.Shad.]

Ah en effet, je n'ai pas relancé de conteneur depuis que j'ai mis en place mon interface. Du coup je n'ai pas vu cet effet collatéral.
C'est une bonne question, je n'ai pas d'idée comme ça.
Pour ma part le exitcode n'est pas non plus la bonne solution.
La meilleure reste de pouvoir affichier dans une colonne l'exitcode (0,1,137,...) qui définit la présence d'une erreur de fonctionnement, et le status (running, stopped, paused, etc...) qui définit l'état du conteneur dans une autre.
Je n'ai pas trouvé comment avoir nativement l'état des conteneurs. C'est un genre de dirty hack ce que j'ai fait, je vais fouiller un peu, si tu trouves quelque chose je suis preneur 🙂 

[bruno78]

Bonjour,

j'ai donc continué à chercher ... . Premier constat : l'exit code n'est pas fiable. Certains containers le positionnent, d'autre non; difficile de se baser dessus. Par ailleurs, il faut laisser remonter tous les états de containers via telegraf.

Donc :

• modification du fichier de configuration de telegraf : telegraf.conf.
  • la section "input plugin" / # # Read metrics about docker containers / [[inputs.docker]], décommenter la ligne contenant les états à charger :

container_state_include = ["created", "restarting", "running", "removing", "paused", "exited", "dead"]

• sur grafana,
  • on crée une requête chargeant le PID, le uptime et l'exitcode.

• On obtient quelque chose comme ceci (après mise en forme des colonnes) avec le PID entre autre.

• Ensuite je stoppe manuellement 2 containers (pour montrer la différence de comportement de l'exit code)

On voit que l'exit code reste à 0 pour l'un, alors qu'il est positionné à 137 pour l'autre. Par contre les 2 remontent "0" comme PID

On peut agrémenter d'un petit recap, par exemple :

• Je relance les 2 containers : et je retrouve bien mon affichage complet, sans doublon, avec les nouveaux PID pour les containers relancés.

 

Bruno78
 

 

Modifié le 13 mai 2020 par bruno78

[.Shad.]

J'ai appliqué tes conseils, ça marche parfaitement, merci 🙂 

[Jeff777]

Bonjour,

Pour moi aussi ça marche mais avec un bémol pour l'uptime.

Je n'arrive pas à afficher les durées correctement. @bruno78 qu'as-tu en "type" et en "unit" ?

Merci

[bruno78]

Bonjour @Jeff777

Pour l'afficher : Type=Number, Unit=Duration, Decimals=1

Bruno78

[Jeff777]

Ah c'est ça qui manquait : Decimals !

Merci

[Jay Bee]

Hello, petit message rapide pour vous dire que j'ai bricolé une image docker embarquant toutes les modifs pour le monitoring de la freebox et du snmp. Ça évite le bricolage entre chaque delete / recreation de containers.

J'ai fait ça rapidement en 2 minutes pour la praticité, je mettrais les builds auto un de ces 4.

https://github.com/jffz/telegraf-python-snmp
https://hub.docker.com/repository/docker/hsfactory/telegraf-python-snmp

[bruno78]

Bonjour,

je vous livre ici une mise à jour du fichier python pour le monitoring de la Freebox Revolution.freebox_058.py

Evolution :

1. affichage de la version et de la date du fichier python
   1. requete Grafana : SELECT last("nom_fichier"), last("last_updated"), last("version_script") FROM "freebox" WHERE ("tag1" = 'python') AND $timeFilter
   2. visualisation : 
2. Ma nouvelle Fbox étant une V2, j'ai 2 AP Wifi, N et AC.
   1. requete Grafana : SELECT last("primary_name"), last("addripv4"), last("last_activity_date"), last("host_type"), last("active"), last("rx_bytes") AS "rx_bytes", last("tx_bytes") AS "tx_bytes", last("rx_rate") AS "rx_rate", last("tx_rate") AS "tx_rate", last("AP_ref") AS "AP ref" FROM "autogen"."freebox" WHERE ("tag1" = 'wifi_list') AND $timeFilter GROUP BY "tag3"
   2. visualisation :
3. Affichage du status de la connexion fibre (cas de resynchro sans perte de signal) et visualmisation de la plage de ports dispo suivant que l'on est en full stack ou pas :
   1. requete Grafana : SELECT last("sfp_has_signal") AS "Signal", last("ipv4") AS "IPv4", last("ipv6") AS "IPv6", last("media") AS "Media", last("cnx_state") AS "state", last("ipv4_port_range_low") AS "Port Low", last("ipv4_port_range_up") AS "Port Up" FROM "autogen"."freebox" WHERE ("tag1" = 'box') AND $timeFilter
   2. visualisation :

A priori pour le moment je n'ai pas d'autres évolutions en prévisions .... sauf manque flagrant ?

Bruno78

 

 

Modifié le 20 juin 2020 par bruno78

[Jeff777]

Merci @bruno78

C'est un cadeau empoisonné 😃

J'ai voulu l'installer mais cela n'a pas fonctionné. Heureusement avec Hyperbackup je suis retombé sur mes pied avec la sauvegarde du répertoire docker 😁

J'ai essayé de reprendre ton tuto là où apparaissait freebox_054.py pour utiliser freebox_058.py à la place mais je n'y suis pas arrivé.

Faut-il repartir du début ou bien existe-t-il un moyen plus rapide ?

 

[bruno78]

Bonjour @Jeff777

non non, il ne faut pas redemarrer du début, heureusement. Il suffit de mettre à jour le docker telegraf :

• placer le nouveau script python dans le repertoire /usr/local/py du docker
• mettre à jour le fichier de configuration de telegraf, section "input plugin" (remplacer freebox_054.py par freebox_058.py)
• on redemarre le docker telegraf

[Jeff777]

Merci......je suis de la génération "shadock"

==>  "pourquoi faire simple quand on peut faire compliqué ?" 😅

 

[Jeff777]

Le 20/06/2020 à 11:52, bruno78 a dit :

Ma nouvelle Fbox étant une V2, j'ai 2 AP Wifi, N et AC

Bonjour @bruno78

J'ai une vieille freebox avec WiFI 802.11 b,g,n  et il s'affiche 0 dans la colonne  de AP_ref . Est-ce normal d'après toi ? Quels type et unité tu utilises pour cette valeur?

[bruno78]

@Jeff777,

oui, l'AP_ref #0 c'est le Wifi b/g/n, et l'AP_ref #1 c'est l'AP wifi ac (Freebox Revolution v2)

et donc pour l’affichage, pour la Table Grafana de lla colonne AP_Ref

Ça me donne les station en Wifi B/G/N en vert, et celles en wifi ac en bleu ...

 

Modifié le 24 juin 2020 par bruno78
ajout screenshot