[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[Lestat69]

Bonjour,

Ca fait un moment que je voulais me lancer dans ce tuto et j'ai enfin pris le temps sauf que j'ai un soucis avec le fichier docker-compose.yml pour créer le docker influxdb

J'ai créé le réseau  à partir de l'interface DSM, j'ai même essayé en ligne de commande et voici le résultat, ça me parait correct

 

J'ai ensuite fait le docker-compose comme indiqué avec notepad++ en UTF-8 en faisant attention de ne pas mettre de tabulation et tranféré sur le nas

quand je lance le docker-compose up -d j'ai ça comme erreur, je ne comprends pas, j'ai du faire une erreur quelque part mais où ?

 

Merci d'avance pour votre aide.

[bruno78]

@Jeff777

donc j'en déduis que tes credentials influx sont bons, ... mais comme la liste des measurements est vide, ça veut dire que telegraf n'arrive pas, pour une raison nous encore élucidée, à envoyer et écrire vers influxdb.

Laisse moi le temps de remonter le fil pour voir les configs ....

[MilesTEG1]

@Lestat69 tu as bien créé le réseau monitoring avant ?

[Lestat69]

Bonjour

 

@MilesTEG1 Oui le réseau a été créé avant, c'est la première chose que j'ai faite

[MilesTEG1]

@Lestat69 Dans ta capture, il semble y avoir un _ après le nom du réseau, ça pourrait venir de là.

[bruno78]

@Lestat69,

je n'ai pas essayé, mais dans les exemples trouvés, il est précisé en plus "default", càd

Dans le service :

networks:
   default:
      - monitoring

Et la déclaration :

networks:
   default:
      external:
         name: monitoring
         

Je n'ai pas d'exemple perso sous la main.

Modifié le 13 janvier 2021 par bruno78

[MilesTEG1]

Moi j'ai ça qui fonctionne bien :

 

Je constate aussi que dans ton fichier @Lestat69, tu sembles avoir mis 4 espaces pour chaque "tabulation"... Je ne sais pas si ça ne serait pas mieux avec seulement 2.

[Lestat69]

@MilesTEG1 C'est ça et du coup ca a fonctionnait c'est la dernière parti qui n'était pas bonne apparemment, il fallait ajouter le nom du réseau entre networks et external comme dans ton fichier 

networks:
  monitoring:
      external :
           name : monitoring

encore merci pour ton aide 
 
 

 

 

 

[bruno78]

OK @MilesTEG1, donc pas besoin de "default" si chez toi c'est OK.

@Lestat69,

• peux-tu alors faire en ssh pour avoir le nom exact du réseau  : docker network ls
• puis sur le réseau monitoring : docker network inspect <nom_du_reseau>

Merci à @MilesTEG1

[Lestat69]

@bruno78 bonjour, voici 

[bruno78]

@Jeff777 heu ..... je suis perdu. Comment adresses-tu (dans le fichoer telegraf.conf) influxdb (sur ton NAS, c'est ca ?) depuis le RPi ?

@Lestat69,

nos messages se sont croisés avec MilesTEG1. Donc c'est ok ca fonctionne.

A priori en fait les solutions sont les mêmes. Le "monitoring" que tu as entre "networks" et "external" est un alias, ce n'est pas la même chose que le name: monitoring.

Donc tu as mis comme alias "monitoring", là où moi j'ai comme alias "default".

Au final c'est bon !

[.Shad.]

C'est une erreur qui s'est glissée dans la refonte, c'est bien :

networks:
   monitoring:
      external: true

et pas :

networks:
   external:
      name: monitoring

J'ai aussi corrigé une erreur dans le docker-compose de Grafana, pour lequel j'avais oublié d'ajouter :

networks:
   - monitoring

Fallait bien que quelqu'un me debug tout ça @Lestat69, c'est tombé sur toi. 😄 

 

✌️

@Jeff777 : Tu peux renommer le endpoint que tu as créé, tu cliques sur "docker-swarm" et tu changes le nom pour ce que tu veux tout simplement. Ensuite quand tu cliques sur "Home" dans le menu latéral tout en haut, normalement tu as la liste de tes endpoints :

Modifié le 13 janvier 2021 par .Shad.

[Jeff777]

Sur le raspberry dans le fichier opt/containers/telegraf/telegraf.conf j'ai ceci :

 

###############################################################################
#                            OUTPUT PLUGINS                                   #
###############################################################################

# Configuration for sending metrics to InfluxDB
[[outputs.influxdb]]
  ## The full HTTP or UDP URL for your InfluxDB instance.
  ##
  ## Multiple URLs can be specified for a single cluster, only ONE of the
  ## urls will be written to each interval.
  # urls = ["unix:///var/run/influxdb.sock"]
  # urls = ["udp://127.0.0.1:8089"]
  # urls = ["http://127.0.0.1:8086"]
    urls = ["http://192.168.1.10:8086"]

  ## The target database for metrics; will be created as needed.
  ## For UDP url endpoint database needs to be configured on server side.
    database = "raspi_telegraf"

  ## The value of this tag will be used to determine the database.  If this
  ## tag is not set the 'database' option is used as the default.
    database_tag = ""

  ## If true, no CREATE DATABASE queries will be sent.  Set to true when using
  ## Telegraf with a user without permissions to create databases or when the
  ## database already exists.
    skip_database_creation = true

  ## Name of existing retention policy to write to.  Empty string writes to
  ## the default retention policy.  Only takes effect when using HTTP.
    retention_policy = ""

  ## Write consistency (clusters only), can be: "any", "one", "quorum", "all".
  ## Only takes effect when using HTTP.
    write_consistency = "any"

  ## Timeout for HTTP messages.
    timeout = "5s"

  ## HTTP Basic Auth
    username = "raspi_telegraf"
    password = "xxxx"

 

192.168.1.10 c'est l'IP de mon nas (dsm7) qui héberge docker

Modifié le 13 janvier 2021 par Jeff777

[.Shad.]

@Jeff777 Pour Portainer voir ma réponse juste avant la tienne.

Pour l'url de InfluxDB, est-ce que tu as bien translaté le port 8086 sur le NAS depuis le conteneur :

ports:
   - 8086:8086

dans la description du service InfluxDB dans le fichier docker-compose ?

[Jeff777]

Docker-compose de influxdb sur le nas :

 

version: "2.1"
services:

    influxdb:
        image: influxdb:latest
        container_name: influxdb
        hostname: influxdb
        environment:
            - INFLUXDB_DB=telegraf
            - INFLUXDB_ADMIN_USER=admin
            - INFLUXDB_ADMIN_PASSWORD=admin
            - INFLUXDB_USER=telegraf
            - INFLUXDB_USER_PASSWORD=telegraf
            - INFLUXDB_HTTP_AUTH_ENABLED=true
        volumes:
            - "/volume1/docker/influxdb/data:/var/lib/influxdb"
        labels:
         - "com.centurylinklabs.watchtower.enable=true"
        ports:
            - 8086:8086
        networks:
            data_export:
                ipv4_address: 172.18.0.2
 
        restart: unless-stopped
networks:
    data_export:
        external: true    

[.Shad.]

Ca a l'air bon de ce côté-là, pour moi le plus important ce sont les logs de Telegraf sur le Rpi, il précise généralement pourquoi il n'arrive pas à envoyer les données.

[Jeff777]

Ah désolé j'avais pas vu ton edit

Là il y a un soucis :

Pas de log dans le telegraf du raspberry mais ceci dans les logs du portainer agent :

Modifié le 13 janvier 2021 par Jeff777

[.Shad.]

On va mettre de côté pour l'instant le problème de Portainer agent, tu as forcément des logs dans Telegraf, regarde dans le fichier telegraf.conf du Rpi, dans la première partie, avant InfluxDB, tu as une ligne :

# debug = false

Tu décommentes et tu passes la valeur à true :

debug = true

Tu redémarres le conteneur, puis tu tapes :

docker logs telegraf -f

 

Modifié le 13 janvier 2021 par .Shad.

[Jeff777]

Je crois que c'est ça le problème. Dans le fichier telegraf.conf il doit manquer tout le début ce que tu crées avec :

docker run --rm telegraf telegraf config | sudo tee telegraf.conf

Chez moi cette commande a créé un dossier telegraf.conf vide et non un fichier. je ne me suis malheureusement pas posé de question et ai créé manuellement le fichier telegraf.conf en mettant output plugin etc.... sans rien devant.

Je viens de refaire la commande et j'ai encore un dossier vide !

 

 

EDIT : là après trois essais je viens d'avoir un fichier mais il est vide 🙄

Modifié le 13 janvier 2021 par Jeff777

[.Shad.]

Chez moi :

cd /opt/containers/telegraf
docker run --rm telegraf telegraf config | sudo tee telegraf.conf

La configuration s'affiche à l'écran (pour ça que je n'ai pas mis les impressions d'écran, ça dégage toutes les anciennes commandes).

Si je fais un :

ls -l

EDIT : Tu as supprimé le dossier avant de retester ?

Modifié le 13 janvier 2021 par .Shad.

[Jeff777]

Chez moi ça fait cela mais je suis en root c'est peut-être cela le pb 

root@raspi:/opt/containers/telegraf# docker run --rm telegraf telegraf config | sudo tee telegraf.conf
root@raspi:/opt/containers/telegraf# ls -l
total 8
-rw-r--r-- 1 root root  679 janv. 10 23:20 docker-compose.yml
-rw-r--r-- 1 root root    0 janv. 13 16:59 telegraf.conf
root@raspi:/opt/containers/telegraf#
 

[.Shad.]

Essaie avec pi peut-être oui, je suis jamais en root sur mon Rpi perso.

[Jeff777]

Toujours pareil...un fichier vide.

[.Shad.]

Tu peux taper :

journalctl -u docker.service

Et poster les logs ici.

[Jeff777]

Je suis en train de recharger telegraf pour voir.

ça ne change rien.

Le log :

pi@raspi:~ $ journalctl -u docker.service
-- Logs begin at Wed 2021-01-13 12:26:21 CET, end at Wed 2021-01-13 17:32:17 CET
janv. 13 12:26:24 raspi dockerd[573]: time="2021-01-13T12:26:24.661099526+01:00"
janv. 13 12:27:34 raspi dockerd[573]: time="2021-01-13T12:27:34.748124528+01:00"
janv. 13 12:28:45 raspi dockerd[573]: time="2021-01-13T12:28:45.109804044+01:00"
janv. 13 12:29:55 raspi dockerd[573]: time="2021-01-13T12:29:55.095207423+01:00"
janv. 13 12:30:53 raspi dockerd[573]: time="2021-01-13T12:30:53.484517226+01:00"
janv. 13 12:30:53 raspi dockerd[573]: time="2021-01-13T12:30:53.490224977+01:00"
janv. 13 12:31:08 raspi dockerd[573]: time="2021-01-13T12:31:08.434752814+01:00"
janv. 13 12:32:18 raspi dockerd[573]: time="2021-01-13T12:32:18.456730326+01:00"
janv. 13 12:33:29 raspi dockerd[573]: time="2021-01-13T12:33:29.342094456+01:00"
janv. 13 12:34:39 raspi dockerd[573]: time="2021-01-13T12:34:39.264907837+01:00"
janv. 13 12:35:50 raspi dockerd[573]: time="2021-01-13T12:35:50.154053281+01:00"
janv. 13 12:35:53 raspi dockerd[573]: time="2021-01-13T12:35:53.684456271+01:00"
janv. 13 12:35:53 raspi dockerd[573]: time="2021-01-13T12:35:53.690499008+01:00"
janv. 13 12:37:00 raspi dockerd[573]: time="2021-01-13T12:37:00.072258273+01:00"
janv. 13 12:38:12 raspi dockerd[573]: time="2021-01-13T12:38:12.813852278+01:00"
janv. 13 12:39:22 raspi dockerd[573]: time="2021-01-13T12:39:22.953500927+01:00"
janv. 13 12:40:33 raspi dockerd[573]: time="2021-01-13T12:40:33.282840429+01:00"
janv. 13 12:40:53 raspi dockerd[573]: time="2021-01-13T12:40:53.884244896+01:00"
janv. 13 12:40:53 raspi dockerd[573]: time="2021-01-13T12:40:53.889771655+01:00"
janv. 13 12:41:43 raspi dockerd[573]: time="2021-01-13T12:41:43.246274114+01:00"
janv. 13 12:42:53 raspi dockerd[573]: time="2021-01-13T12:42:53.150740138+01:00"
janv. 13 12:44:06 raspi dockerd[573]: time="2021-01-13T12:44:06.206194158+01:00"
lines 1-23
-- Logs begin at Wed 2021-01-13 12:26:21 CET, end at Wed 2021-01-13 17:32:17 CET. --
janv. 13 12:26:24 raspi dockerd[573]: time="2021-01-13T12:26:24.661099526+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:27:34 raspi dockerd[573]: time="2021-01-13T12:27:34.748124528+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:28:45 raspi dockerd[573]: time="2021-01-13T12:28:45.109804044+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:29:55 raspi dockerd[573]: time="2021-01-13T12:29:55.095207423+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:30:53 raspi dockerd[573]: time="2021-01-13T12:30:53.484517226+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:tzhmeaq0134vaudaenmpacg1a leaving:false netPeers:1 entries:3 Queue qLen:
janv. 13 12:30:53 raspi dockerd[573]: time="2021-01-13T12:30:53.490224977+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:ivzoo2nzrewaufp8zr82zz159 leaving:false netPeers:1 entries:2 Queue qLen:
janv. 13 12:31:08 raspi dockerd[573]: time="2021-01-13T12:31:08.434752814+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:32:18 raspi dockerd[573]: time="2021-01-13T12:32:18.456730326+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:33:29 raspi dockerd[573]: time="2021-01-13T12:33:29.342094456+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:34:39 raspi dockerd[573]: time="2021-01-13T12:34:39.264907837+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:35:50 raspi dockerd[573]: time="2021-01-13T12:35:50.154053281+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:35:53 raspi dockerd[573]: time="2021-01-13T12:35:53.684456271+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:ivzoo2nzrewaufp8zr82zz159 leaving:false netPeers:1 entries:2 Queue qLen:
janv. 13 12:35:53 raspi dockerd[573]: time="2021-01-13T12:35:53.690499008+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:tzhmeaq0134vaudaenmpacg1a leaving:false netPeers:1 entries:3 Queue qLen:
janv. 13 12:37:00 raspi dockerd[573]: time="2021-01-13T12:37:00.072258273+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:38:12 raspi dockerd[573]: time="2021-01-13T12:38:12.813852278+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:39:22 raspi dockerd[573]: time="2021-01-13T12:39:22.953500927+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:40:33 raspi dockerd[573]: time="2021-01-13T12:40:33.282840429+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:40:53 raspi dockerd[573]: time="2021-01-13T12:40:53.884244896+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:ivzoo2nzrewaufp8zr82zz159 leaving:false netPeers:1 entries:2 Queue qLen:
janv. 13 12:40:53 raspi dockerd[573]: time="2021-01-13T12:40:53.889771655+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:tzhmeaq0134vaudaenmpacg1a leaving:false netPeers:1 entries:3 Queue qLen:
janv. 13 12:41:43 raspi dockerd[573]: time="2021-01-13T12:41:43.246274114+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:42:53 raspi dockerd[573]: time="2021-01-13T12:42:53.150740138+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:44:06 raspi dockerd[573]: time="2021-01-13T12:44:06.206194158+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
lines 1-23
-- Logs begin at Wed 2021-01-13 12:26:21 CET, end at Wed 2021-01-13 17:32:17 CET. --
janv. 13 12:26:24 raspi dockerd[573]: time="2021-01-13T12:26:24.661099526+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:27:34 raspi dockerd[573]: time="2021-01-13T12:27:34.748124528+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:28:45 raspi dockerd[573]: time="2021-01-13T12:28:45.109804044+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:29:55 raspi dockerd[573]: time="2021-01-13T12:29:55.095207423+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:30:53 raspi dockerd[573]: time="2021-01-13T12:30:53.484517226+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:tzhmeaq0134vaudaenmpacg1a leaving:false netPeers:1 entries:3 Queue qLen:0 netMsg/s:0"
janv. 13 12:30:53 raspi dockerd[573]: time="2021-01-13T12:30:53.490224977+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:ivzoo2nzrewaufp8zr82zz159 leaving:false netPeers:1 entries:2 Queue qLen:0 netMsg/s:0"
janv. 13 12:31:08 raspi dockerd[573]: time="2021-01-13T12:31:08.434752814+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:32:18 raspi dockerd[573]: time="2021-01-13T12:32:18.456730326+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:33:29 raspi dockerd[573]: time="2021-01-13T12:33:29.342094456+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:34:39 raspi dockerd[573]: time="2021-01-13T12:34:39.264907837+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:35:50 raspi dockerd[573]: time="2021-01-13T12:35:50.154053281+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:35:53 raspi dockerd[573]: time="2021-01-13T12:35:53.684456271+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:ivzoo2nzrewaufp8zr82zz159 leaving:false netPeers:1 entries:2 Queue qLen:0 netMsg/s:0"
janv. 13 12:35:53 raspi dockerd[573]: time="2021-01-13T12:35:53.690499008+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:tzhmeaq0134vaudaenmpacg1a leaving:false netPeers:1 entries:3 Queue qLen:0 netMsg/s:0"
janv. 13 12:37:00 raspi dockerd[573]: time="2021-01-13T12:37:00.072258273+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:38:12 raspi dockerd[573]: time="2021-01-13T12:38:12.813852278+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:39:22 raspi dockerd[573]: time="2021-01-13T12:39:22.953500927+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:40:33 raspi dockerd[573]: time="2021-01-13T12:40:33.282840429+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:40:53 raspi dockerd[573]: time="2021-01-13T12:40:53.884244896+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:ivzoo2nzrewaufp8zr82zz159 leaving:false netPeers:1 entries:2 Queue qLen:0 netMsg/s:0"
janv. 13 12:40:53 raspi dockerd[573]: time="2021-01-13T12:40:53.889771655+01:00" level=info msg="NetworkDB stats raspi(76be3606b59f) - netID:tzhmeaq0134vaudaenmpacg1a leaving:false netPeers:1 entries:3 Queue qLen:0 netMsg/s:0"
janv. 13 12:41:43 raspi dockerd[573]: time="2021-01-13T12:41:43.246274114+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:42:53 raspi dockerd[573]: time="2021-01-13T12:42:53.150740138+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
janv. 13 12:44:06 raspi dockerd[573]: time="2021-01-13T12:44:06.206194158+01:00" level=info msg="ignoring event" module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"
lines 1-23