[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[oracle7]

@.Shad.

Bonjour,

Pas de soucis, il n'y a pas le feu au lac non plus, profites bien ...🤗

Cordialement

oracle7😉

[.Shad.]

@Sky007FR Je n'ai rien de mieux à ajouter que toi.
Je penche pour un changement d'utilisateur au sein du conteneur, car perso je n'avais plus de remontée du tout depuis Telegraf, j'avais une impossibilité de charger le fichier de configuration au démarrage du conteneur.

En passant les droits de 640 à 644 sur le fichier conf, ça a bien voulu démarrer.
Mais côté Docker, pas mieux que vous. De retour en 1.20.2, tout fonctionne normalement.

Je ne recommanderai donc pas de jouer avec les permissions du sock Docker (en 644 ça passerait aussi j'imagine) ni même celles du fichier de configuration, c'est soit un bug de màj, soit un changement (majeur) non documenté. Autant rester en 1.20.2 le temps d'y voir plus clair.

Beaucoup d'issues sur leur github, mais rien trouvé d'approchant à notre problème.
Si vous êtes motivés vous pouvez faire une issue, sinon je le ferai fin de semaine.

PS : Ca bug quelque soit la plateforme, Debian, Rpi, DSM, etc... donc ràs du côté des architectures a priori.

Modifié le 1 novembre 2021 par .Shad.

[MilesTEG1]

C'est quoi le n° exact qu'il faut mettre à la place de latest dans l'image du conteneur ?

C'est juste 1.20.2 ?

    image: "telegraf:1.20.2"

 

[oracle7]

@MilesTEG1

Bonjour,

OUI   image: "telegraf:1.20.2"

Cordialement

oracle7😉

[MilesTEG1]

@oracle7 Merci 🙂

 

Par contre, on a maintenant 2 images bloquées sur une version... Telegraf et InfluxDB...
La stack va devenir obsolète... plus de MAJ de sécurité, ni rien...
Grafana continue de fonctionner, mais jusqu'à quand...

[oracle7]

@MilesTEG1

Bonjour,

C'est bien aussi cela le drame 🤣 il va falloir commencer sérieusement à réfléchir à comment passer sous InfluxDB v2.x (même si cela ne résout pas tout !) si on veux pouvoir continuer à monitorer en toute quiétude et de façon sécuritaire.

Je vais de mon coté me pencher sur le sujet mais je crains fort que cela va être "hard" et sûrement pas instantané, je n'ai pas les compétences de @.Shad. sur ce sujet, mais bon avec un peu de curiosité et de patience pour assimiler ces nouvelles notions, j'espère bien y arriver 😛

Cordialement

oracle7😉

[.Shad.]

Support officiel de InfluxDB 1.x jusqu'à fin 2021 : https://www.influxdata.com/blog/influxdb-oss-and-enterprise-roadmap-update-from-influxdays-emea/

Pour ma part, j'ai encore regardé il y a quelques semaines, Grafana n'embarque toujours pas de configuration graphique comme le permet InfluxDB 2.x.
Du coup la solution c'est de passer purement en requête écrite sur Grafana. Soit configurer graphiquement ses panels sur InfluxDB 2.x et exporter les requêtes dans Grafana.

Pour ma part, peu de chance que je switch tant que c'est moins pratique qu'actuellement.

[MilesTEG1]

Je suis du même avis que @.Shad.
Si d'ici janvier-février 2022, il n'y a pas de solution adaptée, je tirerais un trait sur le monitoring du NAS via cette solution... Je ne consulte pas vraiment régulièrement Grafana... donc ce sera pas une grande perte.
Cela dit, sentimentalement parlant ça le serait, vu que j'ai fait mes premiers pas avec cette stack 😄 

[Jeff777]

il y a 27 minutes, MilesTEG1 a dit :

Par contre, on a maintenant 2 images bloquées sur une version... Telegraf et InfluxDB...

Ah bon. J'ai toujours InfluxDB en 1.8 mais Telegraf en latest. Watchtower a tourné il y a 6 jours et c'est cette nuit la prochaine MàJ !

Je reste comme ça pour voir et merci pour la solution.

[Jeff777]

Comme prévu la MàJ s'est faite cette nuit. J'ai perdu deux panneaux sur la freebox et deux panneaux sur docker.

Comme ces panneaux me servent pas beaucoup je crois que je vais rester comme cela.

Edit : c'est pire que cela si je ne prend que la période après la MàJ ! Finalement je vais revenir en arrière sur telegraf

Modifié le 3 novembre 2021 par Jeff777

[.Shad.]

Pour Telegraf, le changement vient de là, c'est bien ce que je soupçonnais, ce n'est plus root qui exécute le conteneur : https://www.influxdata.com/blog/docker-run-telegraf-as-non-root/

Du coup j'ai corrigé ça assez facilement :

- je crée un utilisateur telegraf qui n'a d'accès qu'au dossier partagé docker.
- je l'ajoute au groupe docker.
- je note les id de mon nouvel utilisateur et du groupe docker, par exemple chez moi c'est 1040/65536.
- je fais en sorte que ce soit ce combo là qui exécute le conteneur telegraf :

version: '2.1'
services:

   [...]

   telegraf:
      image: ...
      [...]
      user: 1040:65536
   
   [...]
   

- je recrée le conteneur

docker.sock appartenant au groupe docker, je n'ai aucun mal à accéder au fichier.

Je ferai une màj du tutoriel demain sûrement.

[.Shad.]

Tutoriel mis à jour avec les constatations des dernières pages.

[oracle7]

@.Shad.

Bonjour,

Je viens de faire la manip sur l'ajout de l'utilisateur "telegraf".

1. Tout va bien sauf que le conteneur telegraf a planté lorsque j'ai voulu rétablir les droits à 0660 sur le fichier " /var/run/docker.sock " , droits que j'avais modifiés en 0666 lors de la détection du problème suscité. Dès que je suis repassé à 0666 tout est revenu dans l'ordre plus de message d'erreur dans le logs telegraf. Aurais-je raté un truc ?
2. Sinon juste pour comprendre, dans le TUTO tu indiques dans le fichier "telegraf.conf" pour le suivi docker à la section [[inputs.docker]] les instructions suivantes :

perdevice = true
total = true

qui au passage généraient chez moi deux warning (de mémoire @MilesTEG1 avait eut aussi il me semble le soucis) :

021-09-28T16:49:31Z W! [inputs.docker] 'perdevice' setting is set to 'true' so 'blkio' and 'network' metrics will be collected. Please set it to 'false' and use 'perdevice_include' instead to control this behaviour as 'perdevice' will be deprecated
2021-09-28T16:49:31Z W! [inputs.docker] 'total' setting is set to 'false' so 'blkio' and 'network' metrics will not be collected. Please set it to 'true' and use 'total_include' instead to control this behaviour as 'total' will be deprecated

alors que les commentaires d'origine du fichier telegraf.conf indiquent que :

  ## Usage of this setting is discouraged since it will be deprecated in favor of 'perdevice_include'.
  ## Default value is 'true' for backwards compatibility, please set it to 'false' so that 'perdevice_include' setting 
  ## is honored

et donc qu'il faudrait remplacer ces instructions par respectivement :

#  perdevice = true
  perdevice = false
  perdevice_include = ["cpu", "blkio", "network"]
#  total = false
  total = true
  total_include = ["cpu", "blkio", "network"]

qui font disparaitre les dits warning.

D'où ma question, est-ce normal ou le TUTO serait-il à mettre à jour dans ce sens ? Ton avis STP.

Cordialement

oracle7😉

Modifié le 14 novembre 2021 par oracle7

[Jeff777]

Le 14/11/2021 à 00:07, .Shad. a dit :

je crée un utilisateur telegraf qui n'a d'accès qu'au dossier partagé docker.
- je l'ajoute au groupe docker.
- je note les id de mon nouvel utilisateur et du groupe docker, par exemple chez moi c'est 1040/65536.
- je fais en sorte que ce soit ce combo là qui exécute le conteneur telegraf :

J'ai fait cela, mais pour éviter une erreur dans les log de telegraf j'ai changé le groupe de dock.sock suite à la remarque d' @oracle7. J'ai mis groupe:docker  et gardé  propriétaire : root. Et avec cela plus d'erreur et les dashboards sont à nouveau complets. Sauf le dashboard Freebox.🙄

Je tente de refaire le tuto de @bruno78 mais là impossible de me connecter au container telegraf :

Que faut-il faire ?

[.Shad.]

@oracle7 Bien vu pour les paramètres de l'input docker, je corrigerai ça, j'ai fait la modification sur certaines de mes instances mais pas toutes (pas urgent vu que c'est rétro-compatible).

Concernant le socket, je ne suis pas chez moi pour vérifier les permissions d'origine, mais ça doit être 660 en root:docker de souvenir.

Une fois le fichier chmodé, je relancerais le paquet Docker à ta place.
Si ton utilisateur telegraf appartient au groupe docker, aucune raison que ça ne fonctionne pas en 660.

Il y a 8 heures, Jeff777 a dit :

Sauf le dashboard Freebox.

Je ne me rappelle plus, c'est la même instance telegraf qui reprend le monitoring de ton réseau et de ta Freebox ou tu as deux conteneurs distincts ?

[Jeff777]

il y a 36 minutes, .Shad. a dit :

Je ne me rappelle plus, c'est la même instance telegraf qui reprend le monitoring de ton réseau et de ta Freebox

oui la même. 

A l'instant j'ai trouvé cette piste :

I have come across the information that this message is displayed when the current user's uid and gid from docker host is not mapped inside the container's /etc/passwd

Edit : mais cela ne m'aide pas beaucoup🙄 

Modifié le 15 novembre 2021 par Jeff777

[Jeff777]

J'ai redémarrer le nas pour être certain de l'état des containers et là plus rien ne fonctionne. J'ai mis les droits à 0666 tout en gardant docker:root. En redémarrant le nas tous les dashboards fonctionnent à nouveau (sauf Freebox bien sûr).

Par contre il est toujours impossible de ce connecter au container telegraf

[.Shad.]

il y a 9 minutes, Jeff777 a dit :

J'ai redémarrer le nas pour être certain de l'état des containers et là plus rien ne fonctionne. J'ai mis les droits à 0666 tout en gardant docker:root. En redémarrant le nas tous les dashboards fonctionnent à nouveau (sauf Freebox bien sûr).

Par contre il est toujours impossible de ce connecter au container telegraf

C'est root:docker et pas l'inverse.

[Jeff777]

il y a 18 minutes, .Shad. a dit :

C'est root:docker et pas l'inverse.

groupe : docker propriétaire : root    C'est ça ?

EDIT : mais je viens de voir que les droits étaient repassés à 0660 après le redémarrage du nas !

Modifié le 15 novembre 2021 par Jeff777

[.Shad.]

il y a 52 minutes, Jeff777 a dit :

groupe : docker propriétaire : root    C'est ça ?

Oui, mais quand tu le lis en SSH c'est utilisateur:groupe, d'où le fait que je te reprenais.

il y a 53 minutes, Jeff777 a dit :

EDIT : mais je viens de voir que les droits étaient repassés à 0660 après le redémarrage du nas !

Ca me semble tout à fait sain !

[Jeff777]

il y a 14 minutes, .Shad. a dit :

Ca me semble tout à fait sain !

Oui mais je ne peux toujours pas me connecter à telegraf en root 😒

[Jeff777]

Bonjour,

Je reprends le sujet.

Pour corriger mon dashboard Freebox qui ne fonctionne plus avec l'utilisateur non root, je vais créer une instance spécifique telegraf-freebox. 

Avant cela j'ai repris le container telegraf pour supprimer la partie Freebox.

 

Modifié le 20 novembre 2021 par Jeff777

[Jeff777]

Le 15/11/2021 à 12:03, Jeff777 a dit :

Oui mais je ne peux toujours pas me connecter à telegraf en root

J'ai trouvé :

dock exec -it --user root telegraf /bin/bash

Entre temps j'étais passé à un container spécifique pop_telegraf configuré comme indiqué par @.Shad. (modif du 14 nov) et à l'aide de la commande ci-dessus je me suis connecté en root pour le configurer comme dans le tuto monitoring freebox de @bruno78.

[bruno78]

Bonjour, pour info : grafana high severity security fix (Path Traversal (CVE-2021-43798))

• Grafana Labs version 8.3.1, 8.2.7, 8.1.8, 8.0.7 Release Notes dated December 7, 2021
  • https://grafana.com/blog/2021/12/07/grafana-8.3.1-8.2.7-8.1.8-and-8.0.7-released-with-high-severity-security-fix/

[oracle7]

@bruno78

Bonjour,

Merci pour l'info, je viens de vérifier et la MàJ en v8.3.1 de grafana s'est faite cette nuit avec watchtower.

Cordialement

oracle7😉