[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[MilesTEG1]

@oracle7

Merci 😇

 

Il y a 3 heures, oracle7 a dit :

Le plus souple à mon humble avis est d'alimenter et mettre à jour la BD avec Calibre sur un PC.

C'est exactement ce que je compte faire 🙂 Car c'est ce que je fais déjà sur mes ordinateurs (via un dossier Drive).
 

[oracle7]

@MilesTEG1

Bonjour,

Je te joins mon docker-compose à toutes fins utiles :

version: "2.1"
services:
    calibre-web:
        image: linuxserver/calibre-web:latest
        container_name: calibre-web
        environment:
            - LANGUAGE=en_US.UTF-8
            - LANG=en_US.UTF-8
            - APPNAME=calibre
            - UMASK_SET=022
            - TZ=Europe/Paris
            - PUID=1030
            - PGID=101
            - DOCKER_MODS=linuxserver/calibre-web:calibre
        labels:
            - "com.centurylinklabs.watchtower.enable=true"
        volumes:
            - "/volume1/docker/calibre-web:/config"
            - "/volume1/eBooks/Calibre_BD:/books"
        ports:
          - 8083:8083
        restart: unless-stopped

Cordialement

oracle7😉

[MilesTEG1]

@oracle7 Merci 🙂 Quand je serais rentré chez moi, je verrais pour l'utiliser 🙂

 

[Dimebag Darrell]

Bonjour tout le monde,

Je viens de remarquer que depuis ce matin, j'ai des erreurs sur speedtest

Image utilisée : loganmarchione-docker-speedtest-influxdbv21
Aucun problème depuis les 40 derniers jours et ce matin : BOUM !

 

monitoring_speedtest |   File "./speedtest.py", line 122, in <module>
monitoring_speedtest |     speedtest()
monitoring_speedtest |   File "./speedtest.py", line 46, in speedtest
monitoring_speedtest |     my_speed = subprocess.run(['/usr/bin/speedtest', '--accept-license', '--accept-gdpr', '--format=json'], stdout=subprocess.PI                              PE, text=True, check=True)
monitoring_speedtest |   File "/usr/local/lib/python3.7/subprocess.py", line 512, in run
monitoring_speedtest |     output=stdout, stderr=stderr)
monitoring_speedtest | subprocess.CalledProcessError: Command '['/usr/bin/speedtest', '--accept-license', '--accept-gdpr', '--format=json']' returned n                              on-zero exit status 173.
 

 

Avez vous une idée ?

[.Shad.]

J'ai aussi le problème, j'ai ouvert une issue chez le maintainer : https://github.com/loganmarchione/docker-speedtest-influxdbv2/issues/6
Pour moi c'est une restriction de tests imposée par Ookla qui doit être à l'œuvre (Too many requests - Limit reached).

Mais je n'ai rien trouvé à ce sujet.

[Dimebag Darrell]

bien possible

ce n'est pas lié au container donc,

Je vais essayer en forçant un renouvelement IP de mon ISP

 

Modifié le 1 septembre 2021 par Dimebag Darrell

[Dimebag Darrell]

Le 01/09/2021 à 13:37, .Shad. a dit :

J'ai aussi le problème, j'ai ouvert une issue chez le maintainer : https://github.com/loganmarchione/docker-speedtest-influxdbv2/issues/6
Pour moi c'est une restriction de tests imposée par Ookla qui doit être à l'œuvre (Too many requests - Limit reached).

Mais je n'ai rien trouvé à ce sujet.

des nouvelles à ce sujet ?

[.Shad.]

Ben regarde l'issue si elle évolue !

[oracle7]

@Dimebag Darrell

Bonjour, sinon changes d'image et essaies avec celle corrigée par @bruno78 (voir ce post en page 20 ou 22 de mémoire). Je l'utilise de puis le début de l'année et je n'ai pas le genre de soucis que tu rencontres. Maintenant, c'st toi qui voit ...

Cordialement

oracle7😉

[.Shad.]

Chez moi ça remarche, chez toi aussi ?

[Dimebag Darrell]

@oracle7

Hello,

J'avais essayé avec les explications de @bruno78 mais je n'y suis jamais arrivé à le faire fonctionner
 

il y a 6 minutes, .Shad. a dit :

Chez moi ça remarche, chez toi aussi ?

Je viens de tester, là maintenant, c'est reparti aussi 🙂

 

[oracle7]

@Dimebag Darrell

Bonjour,

Tant mieux si cela remarche pour toi, mais gardes en mémoire l'autre solution qui elle n'a pas subie d'aléas, on ne sait jamais ...

Cordialement

oracle7😉

[Dimebag Darrell]

@oracle7

En effet, merci beaucoup, je me souviens m'être arraché les cheveux pour que ça fonctionne, en vain...

C'est la raison pour laquelle, j'utilise la solution de @.Shad.
Si je remarque à l'avenir de nouveaux problèmes, je reviendrai vers toi pour comprendre pourquoi initiallement ça ne fonctionnait pas chez moi 🙂

 

A propos, avez vous de nouvelles fonctionnalités que vous auriez trouvées ces derniers temps ?

 

Belle journée

[oracle7]

@Dimebag Darrell

Bonjour,

1. Il y a 2 heures, Dimebag Darrell a dit :

   A propos, avez vous de nouvelles fonctionnalités que vous auriez trouvées ces derniers temps ?

   Qu'entends-tu par nouvelles fonctionnalités ? au niveau speedtest ou d'autres applications à installer sous docker ?
   Dans ce dernier cas, personnellement j'ai supprimé toutes mes synchronisations faites sur la base de Synology Drive pour les remplacer par l'installation de Syncthing sous Docker. Garantit : y-a pas photo ! notamment avec les synchros sous Android.

2. Sinon pour Speedtest, voici une procédure d'installation qui prend en compte les modifs de @bruno78 :
    

   Installation speedtest2
   •	Prérequis : 
     o	Une database dédiée configurée sous influxdb, avec son user/pwd dédié. 
   root@MonNAS:/volume1/docker/speedtest# docker exec -it influxdb influx -username admin -password admin
       	> CREATE DATABASE nas_speedtest
       	> USE nas_speedtest
       	> CREATE USER speedtest WITH PASSWORD 'speedtest'
       	> GRANT ALL ON nas_speedtest TO speedtest
       	> SHOW DATABASES
       	> SHOW USERS
       	> exit
       	docker restart influxdb
   
   •	Télécharger le fichier speedtest2.tar (speedtest2.tar : https://www.nas-forum.com/forum/applications/core/interface/file/attachment.php?id=15317). Il contient : 
     o	Dockerfile : fichier de commande pour générer la nouvelle image 
     o	InfluxdbSpeedtest.py : fichier de lancement du test, très légèrement modifié (on fait un simple 'ping' de la base influxdb) 
     o	SpeedTest_Net_Server_List.xml : en prime la liste des serveurs utilisés, avec leurs identifiants. Pour amélioration du dashboard grafana (source github) 
   
   •	Etat avant modification : 
     o	image 
   root@MonNAS:/volume1/docker/speedtest# docker image ls
   REPOSITORY                                  TAG                 IMAGE ID            CREATED             SIZE
   ...
   atribe/speedtest-for-influxdb-and-grafana   latest              99c2c10d1e41        16 months ago       111MB
   ...
     o	container 
   root@Maeva56:/volume1/docker/speedtest# docker ps
   CONTAINER ID        IMAGE                                              COMMAND                  CREATED             STATUS                 PORTS                                                                                                                                       NAMES
   ...
   bc4340b44afd        atribe/speedtest-for-influxdb-and-grafana:latest   "python -u /src/infl…"   3 days ago          Up 43 hours                                                                                                                                                        speedtest
   ...
   •	On arrête le container speedtest en cours 
   root@MonNAS:/volume1/docker/speedtest# docker stop speedtest
   
   •	On construit la nouvelle image /!\ ne pas oublier le "." (point) à la fin de la commande /!\ 
   root@MonNAS:/volume1/docker/speedtest# docker build -f Dockerfile --rm --tag speedtest2 .
   Sending build context to Docker daemon    959kB
   Step 1/2 : FROM atribe/speedtest-for-influxdb-and-grafana:latest
    ---> 99c2c10d1e41
   Step 2/2 : COPY ./InfluxdbSpeedtest.py /src/influxspeedtest/
    ---> 08847e4b7b5e
   Successfully built 08847e4b7b5e
   Successfully tagged speedtest2:latest
   •	On vérifie que l'image speedtest2 a bien été créée (on a toujours l'ancienne) 
   root@Maeva56:/volume1/docker/speedtest# docker image ls
   REPOSITORY                                  TAG                 IMAGE ID            CREATED             SIZE
   speedtest2                                  latest              08847e4b7b5e        15 seconds ago      111MB
   ...
   atribe/speedtest-for-influxdb-and-grafana   latest              99c2c10d1e41        16 months ago       111MB
   ...
   •	On met à jour le docker-compose.yml pour prendre en compte cette nouvelle image 
   root@MonNAS:/volume1/docker/speedtest# cat docker-compose.yml
   version: "2.1"
   services:
       speedtest2:
           image: speedtest2:latest
           container_name: speedtest2
           volumes:
             - ./config.ini:/src/config.ini
           restart: unless-stopped
           mem_limit: 256M
           network_mode: bridge
   •	On met à jour le fichier config.ini pour modifier le user/pwd à utiliser 
   root@MonNAS:/volume1/docker/speedtest# cat config.ini
   [GENERAL]
   # Duree en secondes entre deux mesures ---> A adapter au besoin !
   # Delay = 3600
   Delay = 10800
   
   [INFLUXDB]
   Address = 172.20.0.2
   Port = 8086
   Database = nas_speedtest
   #Username = admin
   #Password = admin
   Username = speedtest
   Password = speedtest
   Verify_SSL = True
   
   [SPEEDTEST]
   # Leave blank to auto pick server
   Server =
   
   [LOGGING]
   # Valid Options: critical, error, warning, info, debug
   Level = debug
   •	On peut enfin lancer le nouveau container avec la nouvelle image : 
   root@Maeva56:/volume1/docker/speedtest# docker-compose up -d
   Creating speedtest2 ... done
   •	On attend une petite minute et on vérifie que tout est en place : 
   root@MonNAS:/volume1/docker/speedtest# docker ps
   CONTAINER ID        IMAGE                           COMMAND                  CREATED              STATUS                 PORTS                                                                    NAMES
   498d69abfe03        speedtest2:latest               "python -u /src/infl…"   About a minute ago   Up About a minute                                                                               speedtest2
   ...
     
   root@MonNAS:/volume1/docker/speedtest# docker logs -f speedtest2
   Loading Configuration File config.ini
   Configuration Successfully Loaded
   2021-01-07 13:22:38,148 - DEBUG: Testing connection to InfluxDb using provided credentials
   2021-01-07 13:22:38,341 - DEBUG: Successful connection to InfluxDb
   2021-01-07 13:22:38,341 - INFO: Starting Speed Test For Server None
   2021-01-07 13:22:38,357 - DEBUG: Setting up SpeedTest.net client
   2021-01-07 13:22:38,586 - DEBUG: Picking the closest server
   2021-01-07 13:23:08,886 - INFO: Selected Server 16676 in Paris
   2021-01-07 13:23:08,887 - INFO: Starting download test
   2021-01-07 13:23:13,306 - INFO: Starting upload test
   2021-01-07 13:23:16,028 - DEBUG: [{'measurement': 'speed_test_results', 'fields': {'download': 741713644.1996006, 'upload': 549366763.0788989, 'ping': 5.709, 'server': '16676', 'server_name': 'Paris'}, 'tags': {'server': '16676', 'server_name': 'Paris', 'server_country': 'France'}}]
   2021-01-07 13:23:16,242 - DEBUG: Data written to InfluxDB
   2021-01-07 13:23:16,242 - INFO: Download: 741.71Mbps - Upload: 549.37Mbps - Latency: 5.709ms
   2021-01-07 13:23:16,242 - INFO: Waiting 10800 seconds until next test
   •	Et je retrouve ce test dans mon dashboard (je n'ai pas mis à jour le fuseaux horaire ...) : 
    

    

Cordialement

oracle7😉

 

Modifié le 3 septembre 2021 par oracle7

[Dimebag Darrell]

Merci @oracle7, 

Je voulais parler de fonctionnalités dans l'outil de monitoring, mais vu que tu utilises une autre application que synology drive, c'est toujours intéressant à entendre.

 

A ce propos, je trouve que synology drive est un peu limité dans l'idée d'outils de collaboration, 
Comme par exemple Microsoft 365, ouvrir un fichier partagé, sans devoir spécifiquement le télécharger et l'ouvrir en local, pour ensuite le remplacer.
Avec un arborescence via une sorte de webportal (dans l'esprit d'un sharepoint).

(J'en conviens, ce n'est pas le but de ce sujet néanmoins, existe-t-il un sujet sur le forum qui reprendrait les nouvelles découvertes faites par la communauté ?)

 

 

Modifié le 7 septembre 2021 par Dimebag Darrell

[.Shad.]

il y a 25 minutes, Dimebag Darrell a dit :

(J'en conviens, ce n'est pas le but de ce sujet néanmoins, existe-t-il un sujet sur le forum qui reprendrait les nouvelles découvertes faites par la communauté ?)

Tu peux très bien créer un sujet de discussion de fonctionnalités.

[Dimebag Darrell]

il y a 50 minutes, .Shad. a dit :

Tu peux très bien créer un sujet de discussion de fonctionnalités.

Tout à fait, mais avant de le faire, je n'avais pas envie de créer un doublon !

[Jeff777]

Bonjour à tous,

Je ne sais pas si vous avez aussi ce problème mais depuis la dernière MàJ de Grafana (1.28.5) j'ai des soucis de présentation avec les panneaux de type Stat 12.

J'ai réussi à corriger en changeant la taille des valeurs de texte (de auto vers 50) sur le dashboard Freebox. Mais sur Speedtest (qui en passant décroche de temps en temps) il y a deux panneaux Stat 12 avec des chiffres énormes que je ne peux pas corriger (impossible de les sélectionner pour modif et même dans le json général je ne sais pas faire 😞 )

Avez-vous le même problème.....avec une solution 😉

 

[MilesTEG1]

Hmm quand j'ai lancé hier grafana je n'ai pas vu de soucis si ce n'est un panel d'infos pour la LB4 qui n'affiche plus rien, mais pas de valeur écrite en énorme...

[Jeff777]

@MilesTEG1

Existe-t-il un moyen pour passer de la sélection d'un panneau à un autre, ou bien pour mettre tous les panneaux du même type avec les mêmes paramètres ?

[Jeff777]

Edit : finalement en modifiant le json je m'en suis sorti 😎

[oracle7]

@MilesTEG1

Bonjour,

Il y a 3 heures, MilesTEG1 a dit :

Hmm quand j'ai lancé hier grafana je n'ai pas vu de soucis si ce n'est un panel d'infos pour la LB4 qui n'affiche plus rien

Par curiosité lequel car je n'ai rien remarqué de tel chez moi et je suis uptodate avec grafana (version 563 du 14/9/2021) et d'autant plus que ce ne sont que des panels Tables qui son utilisés pour la LB4. Peut-être une remontée de données qui ne se ferait pas ?

Tu m'intrigues là 🧐🤔

Cordialement

oracle7😉

[Jeff777]

Chez moi le problème se situait sur deux dashboards et concernait deux types de panneaux (Stat et Gauge).

En fait ce sont les paramètres "text/value" en automatique qui ne s'adaptaient pas et prenaient leur valeur maximum. A tel point que  deux panneaux ne pouvaient pas être sélectionnés pour modifier cette valeur. Il m'a fallut passer par le json pour la corriger.

[oracle7]

@Jeff777

Bonjour,

Pour la Gauge : Sauf erreur de ma part, le plugin a été mis à jour avant l'été de mémoire. Du coup j'ai eu ce problème avec lui. Il a suffit de changer pour le nouveau plugin et tout est rentré dans l'ordre. L'ancien était marque "deprecated" ou qqc comme cela.

Pour la Stat : là je n'ai rien constaté, pas de problème apparu.

Cordialement

oracle7😉

[milkyway]

Bonjour @.Shad.,

Je rencontre un souci lors de la mise en oeuvre du tuto. J'ai eu beau d'essayer plusieurs fois de le suivre avec un fichier docker-compose unique ou non, j'arrive tout le temps au même résultat. Je n'arrive pas à afficher la page de connexion à Grafana sur Firefox. De plus, il doit y avoir un bug avec Telegraf car il ne doit pas communiquer correctement avec mon NAS. Voici un extrait du log de Telegraf :

Voici les réglages de mon pare-feu DSM :

Enfin, voici mon fichier docker-compose.yml sous sa forme unique :

 

version: '2.1'
services:

   influxdb:
      image: influxdb:1.8
      container_name: influxdb
      networks:
         - monitoring
      environment:
         - INFLUXDB_DB=nas_telegraf
         - INFLUXDB_ADMIN_USER=admin
         - INFLUXDB_ADMIN_PASSWORD=admin
         - INFLUXDB_USER=nas_telegraf
         - INFLUXDB_USER_PASSWORD=nas_telegraf
         - INFLUXDB_HTTP_AUTH_ENABLED=true
#     ports:                 # Optionnel
#        - 8086:8086         # Optionnel
      volumes:
         - /volume1/docker/monitoring/influxdb-data:/var/lib/influxdb
      restart: unless-stopped

   grafana:
      image: grafana/grafana
      container_name: grafana
      networks:
         - monitoring
      volumes:
         - /volume1/docker/monitoring/grafana-data:/var/lib/grafana
      user: "1026:101"           # Optionnel
      ports:
         - 3000:3000
      depends_on:
         - telegraf
         - influxdb
      restart: unless-stopped

   telegraf:
      image: telegraf
      container_name: telegraf
      networks:
         - monitoring
#     ports:                 # Optionnel
#        - 8125:8125         # Optionnel
#        - 8092:8092/udp     # Optionnel
#        - 8094:8094         # Optionnel
      depends_on:
         - influxdb
      volumes:
         - /volume1/docker/monitoring/telegraf-data/telegraf.conf:/etc/telegraf/telegraf.conf:ro
         - /usr/share/snmp/mibs:/usr/share/snmp/mibs:ro
         - /etc/localtime:/etc/localtime:ro
         - /etc/TZ:/etc/timezone:ro
      restart: unless-stopped
           
networks:
   monitoring:
      external: true

Je ne pense pas qu'il y ait un problème avec mon instance Influxdb car le log retourne le code 204.

J'ai créé le réseau monitoring via ligne de commande. Voici ce que la commande ifconfig me retourne :

Auriez-vous une idée d'où peut venir mon problème ?

Au besoin, je peux fournir les logs des 3 containers au format cvs et html.

Cordialement,

milkyway