[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[.Shad.]

@bruno78 Pour information j'utilise cette image qui est compatible InfluxDB v2 et v1.8 à la fois : https://github.com/loganmarchione/docker-speedtest-influxdbv2

[MilesTEG1]

J'ai abandonné l'image atribe/speedtest-for-influxdb-and-grafana car elle ne me donnait pas de bonnes valeurs du tout, très loin de la réalité...

J'utilise ça actuellement henrywhitaker3/speedtest-tracker, mais ça n'envoie rien dans influxDB par contre, mais ça donne de bonnes valeurs et de graphiques :

Je pourrais essayer l'image que tu donnes @.Shad., elle fonctionnera peut-être mieux 🙂 

[oracle7]

@.Shad.

Bonjour,

Ce qui me gêne avec cette image c'est que toutes les données sont transférées à Ookla, en terme de confidentialité on fait mieux, non ?

• ⚠️ Ookla's speedtest application reports all data back to Ookla ⚠️

Cordialement

oracle7😉

[bruno78]

il y a 36 minutes, .Shad. a dit :

Pour information j'utilise cette image qui est compatible InfluxDB v2 et v1.8 à la fois : https://github.com/loganmarchione/docker-speedtest-influxdbv2

@.Shad. oui j'ai commencer à travailler avec cette image .... soit je ne l'ai pas configurée convenablement, soit elle me donne vraiment des résultats étranges .... du coup je tentais d'adapter l'image d'origine pour du influxv2.

Il faut que je reprenne cette tache.

[.Shad.]

@oracle7 On en a déjà parlé je crois, perso je me fiche qu'ils aient mes données relatives à la qualité de ma connexion.
De toute façon mon opérateur le fait déjà chaque jour, donc ça ne change rien.

Après je réagissais par rapport à la compatibilité vis-à-vis de InfluxDB 2.0.

[bruno78]

@.Shad. @oracle7 @MilesTEG1 @Jeff777,

visiblement le problème speedtest apparu cette nuit est largement répandu.

Une solution a été trouvée ici : https://github.com/sivel/speedtest-cli/pull/769/files

Il faut donc inclure un nouveau script python "speedtest.py".

Je vous propose donc une mise à jour de l'image "speedtest2". Vous trouverez dans le fichier joint 2 nouveaux fichiers : Dockerfile et speedtest.py . speedtest_fix.tar

• Placer ce fichier speedtest_fix.tar dans votre répertoire <speedtest>,
• Décompressez le (# tar xvf speedtest_fix.tar)
• puis relancer la procédure de création de l'image speedtest2 telle que décrite en page 22 de ce fil.

Le nouveau Dockerfile va inclure dans l'image le fichier speedtest.py corrigé, et ensuite il ne doit plus y avoir de problème. Je ne relivre pas le fichier Influxdbspeedtest.py car il n'évolue pas.

Testé rapidement chez moi ca semble OK, mais dites moi ce qu'il en est chez vous.

bruno78

[oracle7]

@bruno78

Bonjour,

BINGO çà marche !!!👏🤗👍😀

Énorme MERCI à toi d'avoir trouver la solution.

Cordialement

oracle7😉

[Jeff777]

Merci @bruno78 j'essaie demain.

Bonne soirée

[oracle7]

@.Shad.

Bonjour,

Il doit y avoir un autre problème avec la MIB SYNOLOGY-PORT-MIB.txt car le RT2600ac ne semble pas la connaître.

Pour preuve :

root@telegraf:/usr/share/snmp/mibs# snmpwalk -c public -v 2c 192.168.2.1 1.3.6.1.4.1.6574.109
iso.3.6.1.4.1.6574.109 = No Such Object available on this agent at this OID

Cordialement

oracle7😉

[.Shad.]

La MIB est bien présente dans le routeur ?
Il y a peut-être une bonne raison pour laquelle ils l'ont enlevée, ce n'est pas ce que tu disais ?

[oracle7]

@.Shad.

Bonjour,

Oui, elle est bien présente sur le routeur, je l'ai copiée/collée moi même.

il y a 2 minutes, .Shad. a dit :

Il y a peut-être une bonne raison pour laquelle ils l'ont enlevée, ce n'est pas ce que tu disais ?

Pas tout à fait. Je l'avais aussi C/C dans le répertoire MIBs sur le NAS et la MàJ 6.2.4.25556 de ce dernier, la supprimée.

Ni plus ni moins.

A la limite, cela peux se concevoir puisque cette MIB ne concerne que les routeurs. Mais comme les MIB semblent être communes à tous les appareils Synology. Enfin, c'est un simple constat : il y a mes mêmes fichiers MIB d'installés sur les Routeur comme sur les NAS. Par contre il y a plus de MIBs sur les NAS.

Cordialement

oracle7😉

[Jeff777]

Le 08/04/2021 à 21:11, Jeff777 a dit :

 j'essaie demain.

Bon avec un peu de retard j'ai fini par y arriver. Merci @bruno78

Par contre je suis resté fidèle à au network "data_export" utilisé pour grafana/telegraf/influxdb. J'espère que cela ne crée pas des problèmes de sécurité.

Edit : Je viens aussi de changer la période entre tests (2nd ligne de config.ini) 5mn au lieu de 3 heures. 

Modifié le 11 avril 2021 par Jeff777

[Elrick]

@.Shad. Hello

Alors je suis en train de préparer et tester tout çà, très beau tuto au passage 🙂 

Mes suggestions et questions 🙂

A l'étape 6, je sais pas si c'est volontaire, mais il n'est pas précisé :

- l'étape de création du répertoire telegraf dans volume1/docker, je pense que c'est nécessaire au vu du docker-compose unique ?
- à la lecture du docker-compose, les répertoires influxdb-data et grafana-data sont à créer dans Monitoring ?
- ou mettre le fichier docker-compose.yml ? dans le répertoire Monitoring ? la commande docker-compose up -d installera les 3 composants ?

Est-ce qu'il est possible selon toi d'utiliser l'ensemble des composants (telegraf, influxdb et grafana) en mode host et de s'affranchir de la création de réseau que tu cites au début ?

Si oui, la configuration serait la suivante ?

version: '2.1'
services:

   influxdb:
      image: influxdb:1.8
      container_name: influxdb
      network_mode: host
      environment:
         - INFLUXDB_DB=nas_telegraf
         - INFLUXDB_ADMIN_USER=admin
         - INFLUXDB_ADMIN_PASSWORD=admin
         - INFLUXDB_USER=nas_telegraf
         - INFLUXDB_USER_PASSWORD=nas_telegraf
         - INFLUXDB_HTTP_AUTH_ENABLED=true
      ports:                 # Optionnel
         - 8086:8086         # Optionnel
      volumes:
         - /volume1/docker/monitoring/influxdb-data:/var/lib/influxdb
      restart: unless-stopped

   grafana:
      image: grafana/grafana
      container_name: grafana
      network_mode: host
      volumes:
         - /volume1/docker/monitoring/grafana-data:/var/lib/grafana
      user: "1026"           # Optionnel
      ports:
         - 3000:3000
      depends_on:
         - telegraf
         - influxdb
      restart: unless-stopped

   telegraf:
      image: telegraf
      container_name: telegraf
      network_mode: host
      ports:                 # Optionnel
         - 8125:8125         # Optionnel
         - 8092:8092/udp     # Optionnel
         - 8094:8094         # Optionnel
      depends_on:
         - influxdb
      volumes:
         - /volume1/docker/telegraf/telegraf.conf:/etc/telegraf/telegraf.conf:ro
         - /usr/share/snmp/mibs:/usr/share/snmp/mibs:ro
      restart: unless-stopped
        
networks:
   monitoring:
      external: true

Merci d'avance pour les précisions.
 

Modifié le 17 avril 2021 par Elrick

[.Shad.]

Il y a 4 heures, Elrick a dit :

- l'étape de création du répertoire telegraf dans volume1/docker, je pense que c'est nécessaire au vu du docker-compose unique ?
- à la lecture du docker-compose, les répertoires influxdb-data et grafana-data sont à créer dans Monitoring ?
- ou mettre le fichier docker-compose.yml ? dans le répertoire Monitoring ? la commande docker-compose up -d installera les 3 composants ?

Je me rends compte que c'est fouillis et il y a des erreurs de logique, je vais corriger ça.

Pour résumer ici, même avec un docker-compose unique, rien ne t'empêche d'avoir des répertoires séparés (docker/grafana, docker/influxdb et docker/telegraf) mais à partir du moment où les trois services fonctionnent ensemble, autant effectivement tous les mettre dans un même dossier docker/monitoring.

Et oui on peut mettre aussi un dossier pour docker/monitoring/telegraf-data.

Donc en somme, si fichier unique, tu fais :

- /volume1/docker/monitoring/grafana-data
- /volume1/docker/monitoring/influxdb-data
- /volume1/docker/monitoring/telegraf-data
et le fichier docker-compose tel que /volume1/docker/monitoring/docker-compose.yml

Si pas, tu peux dissocier chaque dossier avec son propre compose :

- /volume1/docker/grafana/data
avec /volume1/docker/grafana/docker-compose.yml
- /volume1/docker/influxdb/data
avec /volume1/docker/influxdb/docker-compose.yml
- /volume1/docker/telegraf/data
avec /volume1/docker/telegraf/docker-compose.yml

Il y a 4 heures, Elrick a dit :

Est-ce qu'il est possible selon toi d'utiliser l'ensemble des composants (telegraf, influxdb et grafana) en mode host et de s'affranchir de la création de réseau que tu cites au début ?

Tu y perds beaucoup à passer en host :

- Tu exposes inutilement des services qui n'ont pas besoin de l'être sur ton NAS
- Tu perds une grande partie de l'intérêt de l'isolation que procure Docker (Tu ne NAT que ce dont tu as besoin, voir les remarques après chaque docker-compose).
- La philosophie de Docker réside dans les bridge, passer en host n'est à faire que dans des cas bien spécifiques où le mode bridge n'est pas pratique, conseillé ou même possible.

Modifié le 17 avril 2021 par .Shad.

[Elrick]

@.Shad.

Merci 🙂

Je vais suivre tes conseils pour la partie réseau monitoring

Donc au final cela donnerai çà au niveau des répertoires avant de lancer la commande docker-compose up -d ?

du coup, je laisse bien la fin de ligne comme çà dans le fichier docker-compose unique ?

 

[MilesTEG1]

il y a 19 minutes, Elrick a dit :

du coup, je laisse bien la fin de ligne comme çà dans le fichier docker-compose unique ?

Oui il faut laisser ça comme ça @Elrick
Ce coté correspond au chemin d'accès à l'intérieur du conteneur, donc c'est indépendant du chemin d'accès choisi sur ton NAS.
Tu pourrais avoir mis /volume1/docker/blabla/toto/machin/truc/telergah/blabla/encore/un/telegraph.conf que le chemin dans le conteneur resterait le même.
Si tu le changeais, le conteneur ne saurait pas retrouver le fichier de configuration car il est fabriqué ainsi 😉

 

Modifié le 18 avril 2021 par MilesTEG1

[Elrick]

Merci, j'avais la même compréhension, mais je préfère confirmer 😉 

La structure des répertoires cibles sous docker est bien la bonne pour exécuter le docker-compose unique avec les modification que suggère shad en haut sur cette page 35 ?

 

[MilesTEG1]

il y a 5 minutes, Elrick a dit :

La structure des répertoires cibles sous docker est bien la bonne pour exécuter le docker-compose unique avec les modification que suggère shad en haut sur cette page 35 ?

Si tu places ton fichier .yml dans le dossier monitoring, et que dans ce fichier yml les chemins d'accès sont cohérents avec les dossiers dans monitoring, oui c'est bon.
Faudra se placer dans ce dossier monitoring pour lancer la commande docker-compose up -d .

Tu peux aussi utiliser Portainer si tu l'as installé ^^

[Elrick]

@.Shad.

Je viens de faire un docker-compose avec mon fichier unique, j'avais mal mis un chemin que j'ai corrigé... j'avais configuré le fichier telegraf.conf au préalable.

J'ai lancé un docker-compose logs et j'ai les messages suivants ... normal ?

J'ai voulu configuré Grafana, mais je le message suivant quand j'ajoute influx db

Modifié le 18 avril 2021 par Elrick

[.Shad.]

il y a 45 minutes, Elrick a dit :

J'ai lancé un docker-compose logs et j'ai les messages suivants ... normal ?

Je ne sais pas si c'est ton impression d'écran qui est rognée, mais dans le message d'erreur, il est impossible de lire le chemin après "bind mount failed". Si tu peux publier ton docker-compose complet.

Dans ta deuxième impression d'écran ce n'est pas l'intitulé des variables d'environnement que tu dois mettre, mais directement leurs valeurs, ça correspond à ce que tu as entré dans les variables d'environnement d'InfluxDB :

- INFLUXDB_DB=nas_telegraf
- INFLUXDB_USER=nas_telegraf
- INFLUXDB_USER_PASSWORD=nas_telegraf

[Elrick]

@.Shad. @MilesTEG1

Salut,

Alors j'ai modifié les infos pour grafana, comme ceci et j'ai bien le message qui va bien quand je clique sur Save.

j'ai importé le graph, je me retrouve avec le masque d'information sans données.

Pour revenir à ce que je voulais montrer précédemment, j'ai ceci quand je fais un docker-compose logs -f

Je sais pas si c'est normal...

Modifié le 19 avril 2021 par Elrick

[.Shad.]

Je t'avoue n'avoir jamais testé un docker-compose logs -f sur un fichier docker-compose multiple. 😉
Je te propose de me dire ce que tu obtiens en faisant :

docker logs influxdb -f

Tu devrais obtenir quelque chose d'équivalent à ce que je montre dans le tutoriel :

 

telegraf    | 2021-01-08T23:55:02Z D! [outputs.influxdb] Wrote batch of 469 metrics in 109.726214ms
telegraf    | 2021-01-08T23:55:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:12Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:22Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:32Z D! [outputs.influxdb] Wrote batch of 469 metrics in 144.489076ms
telegraf    | 2021-01-08T23:55:32Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:42Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:55:52Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:02Z D! [outputs.influxdb] Wrote batch of 469 metrics in 145.368898ms
telegraf    | 2021-01-08T23:56:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:12Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:22Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:32Z D! [outputs.influxdb] Wrote batch of 469 metrics in 119.228603ms
telegraf    | 2021-01-08T23:56:32Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf    | 2021-01-08T23:56:42Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics

[Dimebag Darrell]

Super intéressant comme tuto

Est-ce possible de superviser un réseau avec du matériel Ubiquiti ? y compris les points d'accès ?

ça serait vraiment cool d'avoir tout en un seul dashboard 

[Jeff777]

Bonjour @Dimebag Darrell

Oui super tuto. Après l'avoir mis en oeuvre j'ai réussi à superviser un ubiquiti Edgemax ER-X et une borne UNIFI.

Je crois que j'ai posté à ce propos dans ce fil. 

[oracle7]

@Dimebag Darrell

Bonjour,

A partir du moment où ton équipement Ubiquiti est accessible en SNMP et que tu disposes des MIBs correspondantes, alors OUI c'est possible. Je l'ai fais pour un autre type de matériel (caméras HIK).

Il existe quelque chose ici à toi de voir si cela te convient ?

Cordialement

oracle7😉