[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[bruno78]

Bonjour,

• oui effectivement tous les dockers sont bien dans le même réseau.
• et entre temps, j'ai fais un peu de lecture, ... de temps en temps on n'y échappe pas ! J'ai parcouru la doc influxdb, et je pense que pour Grafana même punition ....
• du coup, la solution est maintenant : 2 dockers telegraf, qui alimentent un seul docker influxdb, puis visualisation vers un seul Grafana
  • sur le docker influxdb, j'ai bien créé 2 users, .... mais une seule db.
  • avec 2 db, 1 pour chaque telegraf, ça marche beaucoup mieux 🙂

j'ai donc bien à présent des stats qui remontent de ma Freebox.

Simplement, je ne retrouve pas sous Grafana toutes les stats Freebox que je m'attends à recevoir (j'ai le in/out, mais par exemple je ne trouve pas les stats des ports du switch ...). Il faut que je retravaille le script Python qui va chercher les données sur la Fbox, car maintenant le problème est clairement là. La Fbx est passée en API 4.0, et ne va pas tarder à forcer le passage en https. Il va donc y avoir un certificat à intégrer.

Bref encore du boulot, mais de grands progrès déjà réalisés.

Merci

[bruno78]

et voilà !

toutes les infos remontent, ayant modifié l'appel au script Python, avec tous les arguments. Il me reste à voir la question du https .

Bruno78

PS : une fois tout au point, je ferai un récapitulatif global pour telegraf / Freebox

 

[.Shad.]

Hello,

Content que tout fonctionne, et je pense que ça intéressera du monde oui vu le nombre d'abonnés Free sur ce forum.

Et en effet, je privilégie toujours l'installation, quand c'est possible, d'une instance telegraf sur la machine à superviser et de garder une seule instance d'InfluxDB :)

[bruno78]

Hello,

un dernier point à voir, peut-être pas le plus simple : le passage en https.

Sur le site de Free (https://dev.freebox.fr/sdk/os/#)  il est dit

•  

  Citation

   

  HTTPS Access

  Each Freebox is now automatically assigned a random domain name (api_domain), and an associated TLS certificate to enable secure access to API.

  This is enabled by default and all applications MUST now use HTTPS to access the api. Unsecure access will be removed at some point.

  Certificates used for HTTPS access are emitted by either ‘Freebox ECC Root CA’ in case of ECDSA access, or ‘Freebox Root CA’ in case of RSA.

  You must validate the certificate chain, by using the following Root CA certificates:

   

   

  Citation

   

  Freebox ECC Root CA

  
  -----BEGIN CERTIFICATE-----
  MIICWTCCAd+gAwIBAgIJAMaRcLnIgyukMAoGCCqGSM49BAMCMGExCzAJBgNVBAYT
  ...
  gl2I70LeVNGEXZsAThUkqj5Rg9bV8xw3aSMCMQCDjB5CgsLH8EdZmiksdBRRKM2r
  vxo6c0dSSNrr7dDN+m2/dRvgoIpGL2GauOGqDFY=
  -----END CERTIFICATE-----
  

  Freebox Root CA

  
  -----BEGIN CERTIFICATE-----
  MIIFmjCCA4KgAwIBAgIJAKLyz15lYOrYMA0GCSqGSIb3DQEBCwUAMFoxCzAJBgNV
  BAYTAkZSMQ8wDQYDVQQIDAZGcmFuY2UxDjAMBgNVBAcMBVBhcmlzMRAwDgYDVQQK
  ...
  d5jENIZChM8TnDXJzqc+mu00cI3icn9bV9flYCXLTIsprB21wVSMh0XeBGylKxeB
  S27oDfFq04XSox7JM9HdTt2hLK96x1T7FpFrBTnALzb7vHv9MhXqAT90fPR/8A==
  -----END CERTIFICATE-----

   

  
  Bon, la question est simple (!) : comment on "validate the certificate chain, by using the following Root CA certificates ???" Là, je ne sais pas faire ...
  

  Merci de votre aide.

  Bruno78

[.Shad.]

Si ton instance telegraf est bien directement hébergée sur la Freebox, n'arrives-tu pas à récupérer les données sans passer par du SSL ?

Parce que vu que tu récupères les données par un script maison, je ne crois pas que tu aies de champ pour un introduire un certificat client à opposer au serveur SSL de ta Freebox.

Qu'est-ce qui ne marche pas en l'état ?

Quant à la teneur du message, ça donne juste la chaîne complète permettant de valider l'obtention du certificat jusqu'à une autorité compétente pour cela.

[bruno78]

Hello,

non, l'instance telegraf (docker) est localisée sur le NAS,  qui construit et envoie des requêtes http(s)  [via le fameux script Python] vers la Freebox et récupère les données en retour. 

Je n'ai pas les messages d'erreur sous la main (je suis au taff), mais je vais les poster. Dans le fichier telegraf.conf, il semble qu'il y ai des moyens d'indiquer la presence de certificats. Faut que je creuse.

Aujourd'hui ces requêtes sont en http. Mais Free précise que "un jour ...." le http sera arrêté au profit exclusif du https.  Mais on a peut-être le temps de voir venir ? 

De même que le dernier API documenté par Free (https://dev.freebox.fr/sdk/os/) est une version 4.0 (et encore, Free précise que de nombreuses sections sont [INSTABLE]), et lorsque l'on interroge la Freebox sur sa version API (http://mafreebox.free.fr/api_version), celle-ci répond fièrement API_VERSION = "6.0" (pour une Freebox Revolution)

 

Bref, c'est de la navigation à vue, dans un épais brouillard .... Du coup on arrive à faire des choses, mais c'est du tâtonnement, sans grande pérennité je le crains.

Je suis quand même arrivé à construire un tableau de bord correct, mais outre ce https (peut-être pas si urgent), il me reste un aspect que je voudrais réussir à coder (en Python donc), c'est de sortir une liste dynamique des équipements connectés, wifi ou LAN, à un instant donné.

Modifié le 18 février 2020 par bruno78

[bruno78]

Voila où j'en suis ....

 

[Lelolo]

Pas mal du tout !

[.Shad.]

Pas de notifications à propos de tes réponses...

Le 18/02/2020 à 17:35, bruno78 a dit :

il me reste un aspect que je voudrais réussir à coder (en Python donc), c'est de sortir une liste dynamique des équipements connectés, wifi ou LAN, à un instant donné.

Si tu y arrives je suis TRÈS intéressé 😛 

Concernant les certificats, c'est le plugin exec qui permet d'exécuter un script en Python et il n'intègre aucune option liée au certificat.
Ce que tu peux faire, c'est monter le volume qui contiendra tes certificats clients dans ton container telegraf.
Et hardcoder dans ton script le processus de vérification des certificats entre ton client (ton conteneur) et ton serveur (ta Freebox).

Sinon joli boulot, il ne te restera plus qu'à partager ton travail 😛 

[bruno78]

Bonjour @.Shad.

je n'ai pas eu trop le temps d'avancer ces derniers jours. En fait je reprends le codage du Python, car il ne me semble pas optimisé pour les interrogations grafana un peu "poussées" (tableaux, etc ....). Et de temps en temps, j'ai la Fbox qui ne répond pas, sans que je ne sache trop pourquoi ....

Mais oui dés que ce sera possible je partagerai , no problème.

[bruno78]

Bonjour, c'est toujours moi 🙂

Si quelqu'un passe sur ce fil, j'ai une petite question:

j'ai fait un post qui traite d'un autre sujet, à savoir le docker Jeedom. A titre de précaution, ayant lu qu'il pouvait consommer de la mémoire de façon un peu excessive, j'ai décidé de grapher la consommation mémoire de mes différents dockers. Et là, surprise !

Si je regarde par exemple les dockers Jeedom et MariaDB, j’obtiens sur le NAS :

 

Alors que si je regarde le graphe Grafana, j'obtiens :

Soit pour Jeedom, 208MB d'un côté et 30.7MB de l'autre !!

Grafana/Influxdb/telegraf sont configurés pour remonter le paramètre "docker_container_mem" pour chaque "container_name". Le point de collecte sur telegraf.conf, concernant les dockers, est "endpoint = "unix:///var/run/docker.sock"" dans le fichier telegraf.conf. Les autres valeurs sont également erronées, mais de façon moins forte.

Est-ce normal d'avoir une telle différence ? Ou est-ce que simplement on ne mesure pas la même chose ?

Merci de vos lumières.

Modifié le 27 mars 2020 par bruno78
typo

[.Shad.]

Que te donne :

docker stats

?

[bruno78]

Bonjour @.Shad.

alors :

Sur le GUI docker du NAS :

Sur Grafana (max/average/current) 

docker stats

Sur la console jeedom

 

Je ne sais pas trop qu'en déduire du coup ....

Modifié le 28 mars 2020 par bruno78

[.Shad.]

Je note effectivement les mêmes différences de mon côté, et je ne saurais pas l'expliquer... 😕 je jetterai un œil sur Google pour voir si je trouve des pistes.

[kestouf]

Bonjour

Ton Tuto est vraiment très bien fait, je l’ai suivi à la lettre, bon, j’ai abandonné de le faire avec docker car j’avais un problème de latence il semblerais entre telegraf et infludb. Je me suis rabattu sur un Raspberry avec un Ubuntu pour faire tourner Telegraf, Infludb et Grafana.

Petit Message pour @bruno78

Je serais aussi intéressé par ton travaille pour monitorer la Freebox. Je vais commencer avec ce que tu as déjà mis, mais il est vrais qu’un bon tuto comme a fait .Shad. serait parfait.

 

Merci a tous pour votre travail et partage

 

Modifié le 18 avril 2020 par kestouf

[bruno78]

Bonjour,

le tuto pour le Freebox est quasiment prêt (problème de temps libre ....)..... mais pour le moment le disque dur de ma Freebox est (encore) HS, .... et ce n'est pas un long fleuve tranquille pour obtenir gain de cause auprès du support .... Malgré cela l'accès internet fonctionne, mais sans disque dur, point d'interface API Freebox OS, donc pas de relevés de compteurs .....

Ça va venir rapidement je l'espère

[kestouf]

@Bruno78 : Cool, Merci beacoup.
J'aurais une question par rapport a un des graf de supervision du Synology.
Je n'arrive pas a avoir le Uptime du Syno. Je vois sur les screenshot que vous les avez sur vos dashboards.
Serais il possible de fournir la requête?

Merci 
 

[.Shad.]

Salut,

Normalement il faut choisir le measurement "snmp.SYNO" et le field "sysUpTime".
Pour l'affichage, une métrique "mean" ou "last" doit marcher.
Je n'y ai pas accès là je peux pas te dire, mais je n'ai pas rencontré de problème avec ce champ.

En revanche je n'ai jamais réussi à remonter les infos de l'UPS via le telegraf.conf du NAS.

Modifié le 18 avril 2020 par .Shad.

[kestouf]

il y a 9 minutes, .Shad. a dit :

Salut,

Normalement il faut choisir le measurement "snmp.SYNO" et le field "sysUpTime".
Pour l'affichage, une métrique "mean" ou "last" doit marcher.
Je n'y ai pas accès là je peux pas te dire, mais je n'ai pas rencontré de problème avec ce champ.

En revanche je n'ai jamais réussi à remonter les infos de l'UPS le telegraf.conf du NAS.

Merci de ta réponse
Je me suis mal exprimé, j'arrive a récupérer le uptime avec "sysUpTime" sur snmp.SYNO, mais je n'arrive pas à le mettre en forme.
La valeur brute de "sysUpTime" me remonte "14836287" mais je n'arrive pas la passé en Jours / heures/ minutes.

[bruno78]

Bonjour

en fait le SysUpTime que tu as vu dans mes graphes, c'était pour l aFreebox. Mais du coup je l'ai quand même ajouté pour le NAS : il s’appelle "Les Mongets".

L'info est bien remontée par le sysUpTime via le snmp.SYNO, et est expimée en pas de 10ms. => je divise par 100 pour avoir des secondes.

Ensuite pour la visualisation, SingleCast, avec le type "duration s" avec 2 decimales, et tu obtiens ceci :

[kestouf]

C'est bon. Je vous remercie a vous deux pour votre aide.
Par curiosité, @bruno78, serais il possible de faire un screenshot de ton dashbord que tu utilise pour ton Syno (j'ai aussi un 918+)?

En tout cas, merci a vous !

 

[bruno78]

Hello Kestouf,

ci dessous mes dashbord. Le principal est en fait dérivé du Dashboard A Dashboard to monitor Synology NAS (1727) référencé sur le site Grafana.

Il y a le dashboard principal, et un dashboard spécifique pour surveiller les dockers (à ceci prés que la mesure de la consommation mémoire semble compliquée ...).

Pour l'UPC, j'utilise le paramètre powerStatus (0 ou 1) .... je me suis dit je vais faire un essai .... je débranche donc le 220 de l'UPS,  l'alarme remonte bien côté DSM, ... mais côté graphe Grafana RIEN : reste vert !! Je vais creuser le point. Et évidemment pas trouvé non plus le moyen de remonter plus d'infos (type, status, modèle, taux de charge ....)

[.Shad.]

J'avais trouvé une discussion sur Github à ce sujet, apparemment c'est simplement que Synology a changé ses MIB pour l'UPS et du coup ceux renseignés dans telegraf.conf n'extraient plus les données, car ils se basent sur des noms d'OID qui ne sont plus valables. Si on voulait que ça marche il faudrait directement faire appel aux OID, mais comme je n'ai jamais pris le temps de me plonger là-dedans, je ne sais pas exactement comment réparer ça.

Modifié le 18 avril 2020 par .Shad.

[bruno78]

Je vais voir si je trouve des infos sur le powerStatus ....

Le TUTO pour Freebox est publié, en attente de modération (normal). J'espère qu'il sera lisible et compréhensible. Sinon je corrigerai / compléterai.... (soyez indulgents, 1er tuto ....)

[Jeff777]

il y a 9 minutes, bruno78 a dit :

Le TUTO pour Freebox est publié

Merci @bruno78. J'attends avec impatience !