[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

MilesTEG1 · le 12 juillet 2021

Merci 😇

Il y a 3 heures, oracle7 a dit :

Le plus souple à mon humble avis est d'alimenter et mettre à jour la BD avec Calibre sur un PC.

C'est exactement ce que je compte faire 🙂 Car c'est ce que je fais déjà sur mes ordinateurs (via un dossier Drive).

oracle7 · le 12 juillet 2021

@MilesTEG1

Bonjour,

Je te joins mon docker-compose à toutes fins utiles :

version: "2.1"
services:
    calibre-web:
        image: linuxserver/calibre-web:latest
        container_name: calibre-web
        environment:
            - LANGUAGE=en_US.UTF-8
            - LANG=en_US.UTF-8
            - APPNAME=calibre
            - UMASK_SET=022
            - TZ=Europe/Paris
            - PUID=1030
            - PGID=101
            - DOCKER_MODS=linuxserver/calibre-web:calibre
        labels:
            - "com.centurylinklabs.watchtower.enable=true"
        volumes:
            - "/volume1/docker/calibre-web:/config"
            - "/volume1/eBooks/Calibre_BD:/books"
        ports:
          - 8083:8083
        restart: unless-stopped

Cordialement

oracle7😉

MilesTEG1 · le 12 juillet 2021

@oracle7 Merci 🙂 Quand je serais rentré chez moi, je verrais pour l'utiliser 🙂

Dimebag Darrell · le 1 septembre 2021

Bonjour tout le monde,

Je viens de remarquer que depuis ce matin, j'ai des erreurs sur speedtest

Image utilisée : loganmarchione-docker-speedtest-influxdbv21
Aucun problème depuis les 40 derniers jours et ce matin : BOUM !

monitoring_speedtest | File "./speedtest.py", line 122, in <module>
monitoring_speedtest | speedtest()
monitoring_speedtest | File "./speedtest.py", line 46, in speedtest
monitoring_speedtest | my_speed = subprocess.run(['/usr/bin/speedtest', '--accept-license', '--accept-gdpr', '--format=json'], stdout=subprocess.PI PE, text=True, check=True)
monitoring_speedtest | File "/usr/local/lib/python3.7/subprocess.py", line 512, in run
monitoring_speedtest | output=stdout, stderr=stderr)
monitoring_speedtest | subprocess.CalledProcessError: Command '['/usr/bin/speedtest', '--accept-license', '--accept-gdpr', '--format=json']' returned n on-zero exit status 173.

Avez vous une idée ?

.Shad. · le 1 septembre 2021

J'ai aussi le problème, j'ai ouvert une issue chez le maintainer : https://github.com/loganmarchione/docker-speedtest-influxdbv2/issues/6
Pour moi c'est une restriction de tests imposée par Ookla qui doit être à l'œuvre (Too many requests - Limit reached).

Mais je n'ai rien trouvé à ce sujet.

Dimebag Darrell · le 1 septembre 2021

bien possible

ce n'est pas lié au container donc,

Je vais essayer en forçant un renouvelement IP de mon ISP

Modifié le 1 septembre 2021 par Dimebag Darrell

Dimebag Darrell · le 2 septembre 2021

Le 01/09/2021 à 13:37, .Shad. a dit :

J'ai aussi le problème, j'ai ouvert une issue chez le maintainer : https://github.com/loganmarchione/docker-speedtest-influxdbv2/issues/6
Pour moi c'est une restriction de tests imposée par Ookla qui doit être à l'œuvre (Too many requests - Limit reached).

Mais je n'ai rien trouvé à ce sujet.

des nouvelles à ce sujet ?

.Shad. · le 2 septembre 2021

Ben regarde l'issue si elle évolue !

oracle7 · le 2 septembre 2021

@Dimebag Darrell

Bonjour, sinon changes d'image et essaies avec celle corrigée par @bruno78 (voir ce post en page 20 ou 22 de mémoire). Je l'utilise de puis le début de l'année et je n'ai pas le genre de soucis que tu rencontres. Maintenant, c'st toi qui voit ...

Cordialement

oracle7😉

.Shad. · le 2 septembre 2021

Chez moi ça remarche, chez toi aussi ?

Dimebag Darrell · le 2 septembre 2021

@oracle7

Hello,

J'avais essayé avec les explications de @bruno78 mais je n'y suis jamais arrivé à le faire fonctionner

il y a 6 minutes, .Shad. a dit :

Chez moi ça remarche, chez toi aussi ?

Je viens de tester, là maintenant, c'est reparti aussi 🙂

oracle7 · le 2 septembre 2021

@Dimebag Darrell

Bonjour,

Tant mieux si cela remarche pour toi, mais gardes en mémoire l'autre solution qui elle n'a pas subie d'aléas, on ne sait jamais ...

Cordialement

oracle7😉

Dimebag Darrell · le 3 septembre 2021

@oracle7

En effet, merci beaucoup, je me souviens m'être arraché les cheveux pour que ça fonctionne, en vain...

C'est la raison pour laquelle, j'utilise la solution de @.Shad.
Si je remarque à l'avenir de nouveaux problèmes, je reviendrai vers toi pour comprendre pourquoi initiallement ça ne fonctionnait pas chez moi 🙂

A propos, avez vous de nouvelles fonctionnalités que vous auriez trouvées ces derniers temps ?

Belle journée

oracle7 · le 3 septembre 2021

@Dimebag Darrell

Bonjour,

Il y a 2 heures, Dimebag Darrell a dit :

A propos, avez vous de nouvelles fonctionnalités que vous auriez trouvées ces derniers temps ?

Qu'entends-tu par nouvelles fonctionnalités ? au niveau speedtest ou d'autres applications à installer sous docker ?
Dans ce dernier cas, personnellement j'ai supprimé toutes mes synchronisations faites sur la base de Synology Drive pour les remplacer par l'installation de Syncthing sous Docker. Garantit : y-a pas photo ! notamment avec les synchros sous Android.

Sinon pour Speedtest, voici une procédure d'installation qui prend en compte les modifs de @bruno78 :

Installation speedtest2
•	Prérequis : 
  o	Une database dédiée configurée sous influxdb, avec son user/pwd dédié. 
root@MonNAS:/volume1/docker/speedtest# docker exec -it influxdb influx -username admin -password admin
    	> CREATE DATABASE nas_speedtest
    	> USE nas_speedtest
    	> CREATE USER speedtest WITH PASSWORD 'speedtest'
    	> GRANT ALL ON nas_speedtest TO speedtest
    	> SHOW DATABASES
    	> SHOW USERS
    	> exit
    	docker restart influxdb

•	Télécharger le fichier speedtest2.tar (speedtest2.tar : https://www.nas-forum.com/forum/applications/core/interface/file/attachment.php?id=15317). Il contient : 
  o	Dockerfile : fichier de commande pour générer la nouvelle image 
  o	InfluxdbSpeedtest.py : fichier de lancement du test, très légèrement modifié (on fait un simple 'ping' de la base influxdb) 
  o	SpeedTest_Net_Server_List.xml : en prime la liste des serveurs utilisés, avec leurs identifiants. Pour amélioration du dashboard grafana (source github) 

•	Etat avant modification : 
  o	image 
root@MonNAS:/volume1/docker/speedtest# docker image ls
REPOSITORY                                  TAG                 IMAGE ID            CREATED             SIZE
...
atribe/speedtest-for-influxdb-and-grafana   latest              99c2c10d1e41        16 months ago       111MB
...
  o	container 
root@Maeva56:/volume1/docker/speedtest# docker ps
CONTAINER ID        IMAGE                                              COMMAND                  CREATED             STATUS                 PORTS                                                                                                                                       NAMES
...
bc4340b44afd        atribe/speedtest-for-influxdb-and-grafana:latest   "python -u /src/infl…"   3 days ago          Up 43 hours                                                                                                                                                        speedtest
...
•	On arrête le container speedtest en cours 
root@MonNAS:/volume1/docker/speedtest# docker stop speedtest

•	On construit la nouvelle image /!\ ne pas oublier le "." (point) à la fin de la commande /!\ 
root@MonNAS:/volume1/docker/speedtest# docker build -f Dockerfile --rm --tag speedtest2 .
Sending build context to Docker daemon    959kB
Step 1/2 : FROM atribe/speedtest-for-influxdb-and-grafana:latest
 ---> 99c2c10d1e41
Step 2/2 : COPY ./InfluxdbSpeedtest.py /src/influxspeedtest/
 ---> 08847e4b7b5e
Successfully built 08847e4b7b5e
Successfully tagged speedtest2:latest
•	On vérifie que l'image speedtest2 a bien été créée (on a toujours l'ancienne) 
root@Maeva56:/volume1/docker/speedtest# docker image ls
REPOSITORY                                  TAG                 IMAGE ID            CREATED             SIZE
speedtest2                                  latest              08847e4b7b5e        15 seconds ago      111MB
...
atribe/speedtest-for-influxdb-and-grafana   latest              99c2c10d1e41        16 months ago       111MB
...
•	On met à jour le docker-compose.yml pour prendre en compte cette nouvelle image 
root@MonNAS:/volume1/docker/speedtest# cat docker-compose.yml
version: "2.1"
services:
    speedtest2:
        image: speedtest2:latest
        container_name: speedtest2
        volumes:
          - ./config.ini:/src/config.ini
        restart: unless-stopped
        mem_limit: 256M
        network_mode: bridge
•	On met à jour le fichier config.ini pour modifier le user/pwd à utiliser 
root@MonNAS:/volume1/docker/speedtest# cat config.ini
[GENERAL]
# Duree en secondes entre deux mesures ---> A adapter au besoin !
# Delay = 3600
Delay = 10800

[INFLUXDB]
Address = 172.20.0.2
Port = 8086
Database = nas_speedtest
#Username = admin
#Password = admin
Username = speedtest
Password = speedtest
Verify_SSL = True

[SPEEDTEST]
# Leave blank to auto pick server
Server =

[LOGGING]
# Valid Options: critical, error, warning, info, debug
Level = debug
•	On peut enfin lancer le nouveau container avec la nouvelle image : 
root@Maeva56:/volume1/docker/speedtest# docker-compose up -d
Creating speedtest2 ... done
•	On attend une petite minute et on vérifie que tout est en place : 
root@MonNAS:/volume1/docker/speedtest# docker ps
CONTAINER ID        IMAGE                           COMMAND                  CREATED              STATUS                 PORTS                                                                    NAMES
498d69abfe03        speedtest2:latest               "python -u /src/infl…"   About a minute ago   Up About a minute                                                                               speedtest2
...
  
root@MonNAS:/volume1/docker/speedtest# docker logs -f speedtest2
Loading Configuration File config.ini
Configuration Successfully Loaded
2021-01-07 13:22:38,148 - DEBUG: Testing connection to InfluxDb using provided credentials
2021-01-07 13:22:38,341 - DEBUG: Successful connection to InfluxDb
2021-01-07 13:22:38,341 - INFO: Starting Speed Test For Server None
2021-01-07 13:22:38,357 - DEBUG: Setting up SpeedTest.net client
2021-01-07 13:22:38,586 - DEBUG: Picking the closest server
2021-01-07 13:23:08,886 - INFO: Selected Server 16676 in Paris
2021-01-07 13:23:08,887 - INFO: Starting download test
2021-01-07 13:23:13,306 - INFO: Starting upload test
2021-01-07 13:23:16,028 - DEBUG: [{'measurement': 'speed_test_results', 'fields': {'download': 741713644.1996006, 'upload': 549366763.0788989, 'ping': 5.709, 'server': '16676', 'server_name': 'Paris'}, 'tags': {'server': '16676', 'server_name': 'Paris', 'server_country': 'France'}}]
2021-01-07 13:23:16,242 - DEBUG: Data written to InfluxDB
2021-01-07 13:23:16,242 - INFO: Download: 741.71Mbps - Upload: 549.37Mbps - Latency: 5.709ms
2021-01-07 13:23:16,242 - INFO: Waiting 10800 seconds until next test
•	Et je retrouve ce test dans mon dashboard (je n'ai pas mis à jour le fuseaux horaire ...) :

Cordialement

oracle7😉

Modifié le 3 septembre 2021 par oracle7

Dimebag Darrell · le 7 septembre 2021

Merci @oracle7,

Je voulais parler de fonctionnalités dans l'outil de monitoring, mais vu que tu utilises une autre application que synology drive, c'est toujours intéressant à entendre.

A ce propos, je trouve que synology drive est un peu limité dans l'idée d'outils de collaboration,
Comme par exemple Microsoft 365, ouvrir un fichier partagé, sans devoir spécifiquement le télécharger et l'ouvrir en local, pour ensuite le remplacer.
Avec un arborescence via une sorte de webportal (dans l'esprit d'un sharepoint).

(J'en conviens, ce n'est pas le but de ce sujet néanmoins, existe-t-il un sujet sur le forum qui reprendrait les nouvelles découvertes faites par la communauté ?)

Modifié le 7 septembre 2021 par Dimebag Darrell

.Shad. · le 7 septembre 2021

il y a 25 minutes, Dimebag Darrell a dit :

(J'en conviens, ce n'est pas le but de ce sujet néanmoins, existe-t-il un sujet sur le forum qui reprendrait les nouvelles découvertes faites par la communauté ?)

Tu peux très bien créer un sujet de discussion de fonctionnalités.

Dimebag Darrell · le 7 septembre 2021

il y a 50 minutes, .Shad. a dit :

Tu peux très bien créer un sujet de discussion de fonctionnalités.

Tout à fait, mais avant de le faire, je n'avais pas envie de créer un doublon !

Jeff777 · le 20 septembre 2021

Bonjour à tous,

Je ne sais pas si vous avez aussi ce problème mais depuis la dernière MàJ de Grafana (1.28.5) j'ai des soucis de présentation avec les panneaux de type Stat 12.

J'ai réussi à corriger en changeant la taille des valeurs de texte (de auto vers 50) sur le dashboard Freebox. Mais sur Speedtest (qui en passant décroche de temps en temps) il y a deux panneaux Stat 12 avec des chiffres énormes que je ne peux pas corriger (impossible de les sélectionner pour modif et même dans le json général je ne sais pas faire 😞 )

Avez-vous le même problème.....avec une solution 😉

MilesTEG1 · le 20 septembre 2021

Hmm quand j'ai lancé hier grafana je n'ai pas vu de soucis si ce n'est un panel d'infos pour la LB4 qui n'affiche plus rien, mais pas de valeur écrite en énorme...

Jeff777 · le 20 septembre 2021

@MilesTEG1

Existe-t-il un moyen pour passer de la sélection d'un panneau à un autre, ou bien pour mettre tous les panneaux du même type avec les mêmes paramètres ?

Jeff777 · le 20 septembre 2021

Edit : finalement en modifiant le json je m'en suis sorti 😎

oracle7 · le 20 septembre 2021

@MilesTEG1

Bonjour,

Il y a 3 heures, MilesTEG1 a dit :

Hmm quand j'ai lancé hier grafana je n'ai pas vu de soucis si ce n'est un panel d'infos pour la LB4 qui n'affiche plus rien

Par curiosité lequel car je n'ai rien remarqué de tel chez moi et je suis uptodate avec grafana (version 563 du 14/9/2021) et d'autant plus que ce ne sont que des panels Tables qui son utilisés pour la LB4. Peut-être une remontée de données qui ne se ferait pas ?

Tu m'intrigues là 🧐🤔

Cordialement

oracle7😉

Jeff777 · le 20 septembre 2021

Chez moi le problème se situait sur deux dashboards et concernait deux types de panneaux (Stat et Gauge).

En fait ce sont les paramètres "text/value" en automatique qui ne s'adaptaient pas et prenaient leur valeur maximum. A tel point que deux panneaux ne pouvaient pas être sélectionnés pour modifier cette valeur. Il m'a fallut passer par le json pour la corriger.

oracle7 · le 20 septembre 2021

@Jeff777

Bonjour,

Pour la Gauge : Sauf erreur de ma part, le plugin a été mis à jour avant l'été de mémoire. Du coup j'ai eu ce problème avec lui. Il a suffit de changer pour le nouveau plugin et tout est rentré dans l'ordre. L'ancien était marque "deprecated" ou qqc comme cela.

Pour la Stat : là je n'ai rien constaté, pas de problème apparu.

Cordialement

oracle7😉

milkyway · le 26 septembre 2021

Bonjour @.Shad.,

Je rencontre un souci lors de la mise en oeuvre du tuto. J'ai eu beau d'essayer plusieurs fois de le suivre avec un fichier docker-compose unique ou non, j'arrive tout le temps au même résultat. Je n'arrive pas à afficher la page de connexion à Grafana sur Firefox. De plus, il doit y avoir un bug avec Telegraf car il ne doit pas communiquer correctement avec mon NAS. Voici un extrait du log de Telegraf :

Voici les réglages de mon pare-feu DSM :

Enfin, voici mon fichier docker-compose.yml sous sa forme unique :

version: '2.1'
services:

   influxdb:
      image: influxdb:1.8
      container_name: influxdb
      networks:
         - monitoring
      environment:
         - INFLUXDB_DB=nas_telegraf
         - INFLUXDB_ADMIN_USER=admin
         - INFLUXDB_ADMIN_PASSWORD=admin
         - INFLUXDB_USER=nas_telegraf
         - INFLUXDB_USER_PASSWORD=nas_telegraf
         - INFLUXDB_HTTP_AUTH_ENABLED=true
#     ports:                 # Optionnel
#        - 8086:8086         # Optionnel
      volumes:
         - /volume1/docker/monitoring/influxdb-data:/var/lib/influxdb
      restart: unless-stopped

   grafana:
      image: grafana/grafana
      container_name: grafana
      networks:
         - monitoring
      volumes:
         - /volume1/docker/monitoring/grafana-data:/var/lib/grafana
      user: "1026:101"           # Optionnel
      ports:
         - 3000:3000
      depends_on:
         - telegraf
         - influxdb
      restart: unless-stopped

   telegraf:
      image: telegraf
      container_name: telegraf
      networks:
         - monitoring
#     ports:                 # Optionnel
#        - 8125:8125         # Optionnel
#        - 8092:8092/udp     # Optionnel
#        - 8094:8094         # Optionnel
      depends_on:
         - influxdb
      volumes:
         - /volume1/docker/monitoring/telegraf-data/telegraf.conf:/etc/telegraf/telegraf.conf:ro
         - /usr/share/snmp/mibs:/usr/share/snmp/mibs:ro
         - /etc/localtime:/etc/localtime:ro
         - /etc/TZ:/etc/timezone:ro
      restart: unless-stopped
           
networks:
   monitoring:
      external: true

Je ne pense pas qu'il y ait un problème avec mon instance Influxdb car le log retourne le code 204.

J'ai créé le réseau monitoring via ligne de commande. Voici ce que la commande ifconfig me retourne :

ifconfig.PNG.e1d02aec3866f9c9d3a131f678f5564f.PNG

Auriez-vous une idée d'où peut venir mon problème ?

Au besoin, je peux fournir les logs des 3 containers au format cvs et html.

Cordialement,

milkyway

Connexion

[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

Messages recommandés

Meilleurs contributeurs dans ce sujet

Jours populaires

Meilleurs contributeurs dans ce sujet

Jours populaires

Messages populaires

.Shad.

oracle7

.Shad.

Images postées

Rejoindre la conversation

Qui est en ligne 10 membres, 0 anonyme, 264 invités (Afficher la liste complète)

Contributeurs populaires

Annonces

Information importante