[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[MilesTEG1]

Hello 👋

@.Shad. 

Je suis en train de mettre en place ce qui est décrit dans le tuto 😉 
Et je viens d'avoir ce message lors du docker-compose de telegraf :

root@Syno-DS920Plus:/volume1/docker/grafana/data# docker-compose up -d
WARNING: Found orphan containers (monitoring_influxdb) for this project. If you removed or renamed this service in your compose file, you can run this command with the --remove-orphans flag to clean it up.
Creating monitoring_grafana ... done

Est-ce que ça va poser problème pour la suite ?
PS : j'ai nommé les trois conteneurs avec le préfix "monitoring_" 🙂  sans changer le hostname dans les docker-compose.yml.

En tout cas, j'ai bien accès à ceci 😇 :

Je reviendrai poser mes autres questions si j'en ai ^^

PS : il a fallu que je fasse deux fois la commande suivante pour avoir un fichier qui contient quelque chose (sinon le fichier .conf était vide...)

docker run --rm telegraf telegraf config > telegraf.conf

Merci pour le tuto en tout cas ! 

[MilesTEG1]

bon bah, à l'étape de configuration de la base de donnée dans Grafana, ça marche pas...
J'ai ce message :

Du coup je recommence tout, et je vois que j'ai une erreur dans le fichier .conf : j'avais     database = "nas-telegraf"     au lieu de          database = "nas_telegraf".
Cette fois-ci, je met aussi monitoring_ devant les hostname...

Whouhou !! Ça marche maintenant 😄

Modifié le 29 août 2020 par MilesTEG1

[.Shad.]

Salut,

il y a 59 minutes, MilesTEG1 a dit :

WARNING: Found orphan containers (monitoring_influxdb) for this project. If you removed or renamed this service in your compose file, you can run this command with the --remove-orphans flag to clean it up.

C'est généralement dû à une erreur lors d'un docker-compose down et donc il reste un container qui n'est plus dans aucun réseau.
Il y a d'autres causes possibles, le plus simple étant généralement de supprimer le conteneur manuellement (docker rm <nom_du_conteneur> en SSH, via DSM ou via Portainer).

il y a 59 minutes, MilesTEG1 a dit :

PS : il a fallu que je fasse deux fois la commande suivante pour avoir un fichier qui contient quelque chose (sinon le fichier .conf était vide...)

docker run --rm telegraf telegraf config > telegraf.conf

Normalement ça doit bien marcher dès la première fois, c'est étrange...

il y a 40 minutes, MilesTEG1 a dit :

Whouhou !! Ça marche maintenant 😄

Assures-toi quand même que Telegraf peuple bien la base de données dans InfluxDB, il suffit de voir les logs d'InfluxDB :

docker logs <nom_du_conteneur_influxdb> -f

Tu as un affichage en temps réel, si tu as un code 204 dans le log c'est bon ça veut dire que les données sont correctement écrites par Telegraf. 😉 

Modifié le 29 août 2020 par .Shad.

[MilesTEG1]

Je pense que tout fonctionne 😉

Même si je ne sais pas pourquoi j'ai ce message pour le RAID. C'est peut-être parce que mon volume SHR est dégradé, j'ai perdu un disque de 4To, le remplaçant est en train de subir l'épreuve du badblocks :D)

Par contre, j'ai rien là :

Et sinon, je suis loin d'avoir le résultat de ta capture en en-tête du tuto... 

Tu as modifié le dashboard pris sur grafana ?

[bruno78]

Bonjour @MilesTEG1,

pour le RAID Status, quelle est exactement la requete que tu as utilisée ? Dans mon cas, pour que cela fonctionne, comme j'ai 2 volumes, je dois préciser dans la requete quel est le volume concerné. Par exemple :

"SELECT last("raidStatus") FROM "raidTable" WHERE ("agent_host" =~ /^(192\.168\.1\.121|192\.168\.1\.171)$/ AND "raidName" = 'Volume 1') AND time >= now() - 6h GROUP BY time(10s)"

J'ai donc 2 indicateurs séparés, un pour le "Volume 1", et 1 pour le "Volume 2"

 

De même pour Disk Load, quelle requete utilises-tu ?

Bruno78

[MilesTEG1]

il y a 4 minutes, bruno78 a dit :

Bonjour @MilesTEG1,

pour le RAID Status, quelle est exactement la requete que tu as utilisée ? Dans mon cas, pour que cela fonctionne, comme j'ai 2 volumes, je dois préciser dans la requete quel est le volume concerné. Par exemple :

"SELECT last("raidStatus") FROM "raidTable" WHERE ("agent_host" =~ /^(192\.168\.1\.121|192\.168\.1\.171)$/ AND "raidName" = 'Volume 1') AND time >= now() - 6h GROUP BY time(10s)"

J'ai donc 2 indicateurs séparés, un pour le "Volume 1", et 1 pour le "Volume 2"

 

De même pour Disk Load, quelle requete utilises-tu ?

Bruno78

Heuuuu, je n'ai fait aucune requête... enfin pas moi-même. J'ai suivi le tuto, rien de plus 😅 
Et il n'est pas question dans ce tuto de requête particulière...

Donc là je ne sais pas quoi répondre 😇

Mais en allant éditer la case en question, j'ai ça qui correspondrait à ce que tu demandes, mais j'ai rien fait moi-même :

Modifié le 29 août 2020 par MilesTEG1

[.Shad.]

Clique sur $interval et met $_interval à la place (enfin celui dans la liste).
La dashboard ce n'est pas le mien, le mien je l'ai fait from scratch, mais ça demande de jouer un peu avec Grafana pour comprendre un peu comment ça marche. 

Modifié le 29 août 2020 par .Shad.

[Nasme]

Bonjour,

J'avais le même problème que toi pour ce qui est de l'état des disques.

Tu cliques sur "edit" puis tu choisi la bonne base de données à gauche car ce n'est pas la bonne qui est choisie par défaut.

Puis tu vas voir le graphique se remplir tout de suite.

C'est ce que je viens de faire.

Pour ce qui est du "Raid Status" j'ai cliqué sur edit et choisi Grafana.

Je ne sais pas si c'est bon mais la valeur change.

[MilesTEG1]

il y a 35 minutes, .Shad. a dit :

Clique sur $interval et met $_interval à la place (enfin celui dans la liste).
La dashboard ce n'est pas le mien, le mien je l'ai fait from scratch, mais ça demande de jouer un peu avec Grafana pour comprendre un peu comment ça marche. 

Ça n'a eu aucun effet...

il y a 24 minutes, Nasme a dit :

Bonjour,

J'avais le même problème que toi pour ce qui est de l'état des disques.

Tu cliques sur "edit" puis tu choisi la bonne base de données à gauche car ce n'est pas la bonne qui est choisie par défaut.

Puis tu vas voir le graphique se remplir tout de suite.

C'est ce que je viens de faire.

Pour ce qui est du "Raid Status" j'ai cliqué sur edit et choisi Grafana.

Je ne sais pas si c'est bon mais la valeur change.

Idem, pas d'effet.

[MilesTEG1]

Alors pour le raid, faut que je choisisse autre chose que les deux dernières entrées de la liste déroulante là, sinon j'ai l'erreur précédente :

 

Pour les autres, je ne sais pas...
 

Sinon tu voudrais pas partager le JSON de ton dashboard @.Shad. ? 😇

[Nasme]

Je clique sur edit puis je choisis Grafana et tout s'affiche. Dans les trois cas soit pour "Raid Status", "Disk Load" et "Disk IO".

Il faudrait que je mette une capture d'écran de mon dashboard.

[.Shad.]

@MilesTEG1

Pas de problème pour partager, je mets déjà les screenshots :

Et pour le fichier JSON : nas_dashboard.json

Mais dans les faits il y aura des trous je pense chez toi, car j'ai téléchargé des plugin en plus pour grafana (la pie-chart par exemple), ou encore le monitoring de Docker, qui est repris plus loin dans le tutoriel, mais je ne sais pas si tu es allé jusque-là ?

Pour ton erreur avec le Raid Status, personnellement je n'ai pas utilisé la variable $host dans la partie WHERE de la requête, j'évite d'utiliser les variables, j'ai choisi plutôt l'IP de l'agent, qui doit normalement apparaître dans la liste déroulante. C'est l'IP que tu as indiquée à Telegraf dans le fichier telegraf.conf pour la valeur du paramètre "agents".

@Nasme

Il ne faut pas sélectionner Grafana comme data source, c'est uniquement la data source InfluxDB liée au NAS.
Essaie ce que j'ai proposé à @MilesTEG1 juste avant.

Modifié le 30 août 2020 par .Shad.
Numéro de série du NAS caché ;)

[MilesTEG1]

@.Shad.

En effet, j'ai bien l'IP qui apparait dans la liste 😄 Je mettrais celle-là donc ^^

Et tu as vu juste, je ne suis pas encore allé jusqu'à l'intégration du monitoring Docker 🙂  
Mais je pense que je vais le faire ^^ avant de charger ton json, car je ne sais pas si les modifications faites après-coup seraient répercutées directement dans le dashboard.

Si tu as le temps, et que tu veux bien, tu pourrais faire un bout de tuto sur la création d'une vignette du dashboard ? Car pour moi c'est pas très simple de comprendre les différentes cases des requêtes...

Tu pourrais lister les plugins que tu as installé en plus ? J'ai vu hier comment on pouvait en ajouter 🙂

En tout cas, merci pour le partage de ton dashboard, que je trouve très bien réalisé ^^ 

Petite question pour l'intégration de Docker : 

La modification du fichier telegraf.conf nécessite-t-elle de refaire le conteneur idoine ?

[.Shad.]

il y a 9 minutes, MilesTEG1 a dit :

Mais je pense que je vais le faire ^^ avant de charger ton json, car je ne sais pas si les modifications faites après-coup seraient répercutées directement dans le dashboard.

Pas de problème si tu importes d'abord le dashboard, tu auras juste des erreurs tant que Grafana ne trouve pas de données dans ta source de données.

il y a 11 minutes, MilesTEG1 a dit :

Si tu as le temps, et que tu veux bien, tu pourrais faire un bout de tuto sur la création d'une vignette du dashboard ? Car pour moi c'est pas très simple de comprendre les différentes cases des requêtes...

Pas que je ne veux pas, mais c'est appris sur le tas, j'arrive à mes fins mais je n'ai aucune idée de la pertinence de la méthode, ni des paramètres choisis.
Je ne veux pas donner des consignes sur quelque chose que je ne maîtrise pas un minimum, car je pourrais dire de grossières erreurs et que vous appliqueriez sans sourciller.

La meilleure façon de faire est d'apprendre à construire et décoder des requêtes, il y a quelques tutoriels à ce sujet, mais ils sont rares.
L'autre manière plus empirique, celle que j'ai appliquée, est d'importer des dashboards depuis le dépôt Grafana (https://grafana.com/grafana/dashboards), quand je trouve quelque chose qui me plaît j'essaie de comprendre et d'adapter à mon dashboard.

En plugins supplémentaires j'ai grafana-piechart-panel et grafana-worldmap-panel.

il y a 16 minutes, MilesTEG1 a dit :

Petite question pour l'intégration de Docker : 

La modification du fichier telegraf.conf nécessite-t-elle de refaire le conteneur idoine ?

Non il suffit de modifier le fichier telegraf.conf suivant les consignes du tutoriel, et de le relancer :

docker restart telegraf

 

[MilesTEG1]

il y a 1 minute, .Shad. a dit :

Pas de problème si tu importes d'abord le dashboard, tu auras juste des erreurs tant que Grafana ne trouve pas de données dans ta source de données.

Pas que je ne veux pas, mais c'est appris sur le tas, j'arrive à mes fins mais je n'ai aucune idée de la pertinence de la méthode, ni des paramètres choisis.
Je ne veux pas donner des consignes sur quelque chose que je ne maîtrise pas un minimum, car je pourrais dire de grossières erreurs et que vous appliqueriez sans sourciller.

La meilleure façon de faire est d'apprendre à construire et décoder des requêtes, il y a quelques tutoriels à ce sujet, mais ils sont rares.
L'autre manière plus empirique, celle que j'ai appliquée, est d'importer des dashboards depuis le dépôt Grafana (https://grafana.com/grafana/dashboards), quand je trouve quelque chose qui me plaît j'essaie de comprendre et d'adapter à mon dashboard.

Ok, je comprends 😇  
Je pensais que tu maitrisais bien la chose 😆
Je me formerais sur le tas alors 🙃

Citation

En plugins supplémentaires j'ai grafana-piechart-panel et grafana-worldmap-panel.

Ok, merci 🙂 

Citation

 Non il suffit de modifier le fichier telegraf.conf suivant les consignes du tutoriel, et de le relancer :

docker restart telegraf

 

Ok, et du coup pour cette modification (ci-dessous), le redémarrage du conteneur suffit également ?

Citation

Pour que cela fonctionne, il faut qu'on donne accès au fichier docker.sock à telegraf, il suffit de rajouter dans le docker-compose de telegraf le volume suivant :

- "/var/run/docker.sock:/var/run/docker.sock:ro"

 

 

edit : je viens de charger ton fichier json. 
Va falloir que je change la base de donnée et l'ip sur toutes les cases 😅 🤪

[MilesTEG1]

Bon ben voilà le résultat 😄

La partie Docker ne fonctionne pas, je ne sais pas pourquoi, j'ai bien suivi le tuto sur cette partie...
Pour le Raid Status, j'ai du faire comme j'ai décris précédemment, mettre ceci :  sinon ça ne fonctionnait pas.

Et pour la partie graphique, je n'arrive pas à avoir les courbes comme sur tes captures... j'ai beau essayer divers réglages... rien à faire...
Sur la partie trafic réseau, il y a comme des coupures de données à intervalles de temps réguliers...

 

Des idées sur pourquoi c'est pas parfaitement comme sur tes captures ?

Pour la case "Storage", ça me mets un peu trop de chose... Je n'ai que 3 volumes : un SHR, et deux basic. Or j'ai 5 duos d'entrées... Des idées ?
Et pour la case de l'UPS ? J'ai un Eaton 3S 850VA : No data to show Des idées pour ça aussi ?

Et enfin pour la partie Docker... une fois le docker-compose.yml modifié, faut faire autre chose que de relancer le conteneur ? Parce que là j'ai l'impression que ça n'a pas pris en compte la modif, ou bien il y a un soucis ailleurs...

En tout cas, tous ces petits tutos que je suis graçe à toi @.Shad. me permettent de comprendre davantage comment on utilise Docker.
Et j'en viens à considérer que le fichier docker-compose.yml est vraiment trop pratique 😄  

Modifié le 30 août 2020 par MilesTEG1

[.Shad.]

A priori les personnes qui ont mis en place le tutoriel pour l'intégration de Docker n'ont pas rencontré de problèmes. Reprend-le peut-être à tête reposée.
Est-ce que tu autorises bien dans le pare-feu du NAS les IP 172.16.0.0/255.240.0.0 ? Car Telegraf est dans cette plage-là.
Les coupures ça veut dire que Grafana n'a pas de données dans InfluxDB pour cet intervalle-là. Ou qu'InfluxDB n'en reçoit plus. Ou que Grafana n'arrive plus à communiquer avec InfluxDB. Les logs des conteneurs sont tes amis.

Pour l'UPS, j'ai customisé en fonction des remarques qu'avaient faites @bruno78 il y a quelques pages car ce qui est proposé dans le dashboard d'exemple ne fonctionne pas.

C'est bien de penser à modifier le fichier docker-compose.yml, mais as-tu dé-commenté les lignes adéquates dans telegraf.conf ? (cf tutoriel)
Sinon tu peux monter ce que tu veux dans le yml, Telegraf n'ira pas poll le socket docker.

Modifié le 31 août 2020 par .Shad.

[MilesTEG1]

Il y a 1 heure, .Shad. a dit :

A priori les personnes qui ont mis en place le tutoriel pour l'intégration de Docker n'ont pas rencontré de problèmes. Reprend-le peut-être à tête reposée.
Est-ce que tu autorises bien dans le pare-feu du NAS les IP 172.16.0.0/255.240.0.0 ? Car Telegraf est dans cette plage-là.
Les coupures ça veut dire que Grafana n'a pas de données dans InfluxDB pour cet intervalle-là. Ou qu'InfluxDB n'en reçoit plus. Ou que Grafana n'arrive plus à communiquer avec InfluxDB. Les logs des conteneurs sont tes amis.

Pour l'UPS, j'ai customisé en fonction des remarques qu'avaient faites @bruno78 il y a quelques pages car ce qui est proposé dans le dashboard d'exemple ne fonctionne pas.

C'est bien de penser à modifier le fichier docker-compose.yml, mais as-tu dé-commenté les lignes adéquates dans telegraf.conf ? (cf tutoriel)
Sinon tu peux monter ce que tu veux dans le yml, Telegraf n'ira pas poll le socket docker.

Hello,

À priori pour le parefeu du NAS, oui j'ai bien autorisé les IP :

Je vais regarder les logs ce qu'ils disent.
j'ai ça :

Du coup, autant je vois que telegraf n'arrive pas à se connecter à Docker : va falloir résoudre ce soucis.
Autant je ne vois pas ce qui fait que j'ai des mesures périodiquement...

 

Pour l'UPS, je vais parcourir les réponses dans le sujet ^^ merci.

Pour la modification de telegraf.conf, oui oui, j'ai bien fait la modif. J'ai relancer ensuite le conteneur comme indiqué dans le tuto. Faut pas refaire un docker-compose dessus par hasard ?

Du coup pour Docker, faut comprendre pourquoi telegraf n'a pas accès au socket...

 

 

Sinon, j'ai quand même réussi ceci, même si ce n'est pas parfait, car je n'arrive pas à faire en sorte de convertir les octets en To avec affichage de l'unité :

Si quelqu'un sait comment convertir les octets en To , je suis preneur ^^

[Nasme]

Bonjour,

Je n'ai pas docker dans telegraf, je n'ai que ceci: kernel mem swap disk diskio processes system snmp cpu

Pourtant, j'ai suivi les consignes du tutoriel. J'ai rajouté la ligne - "/var/run/docker.sock:/var/run/docker.sock:ro" dans le fichier docker-compose de telegraf.

Voici mon code de telegraf pour ce qui est des containers:

# # Read logging output from the Docker engine
# [[inputs.docker_log]]
#   ## Docker Endpoint
#   ##   To use TCP, set endpoint = "tcp://[ip]:[port]"
#      To use environment variables (ie, docker-machine), set endpoint = "ENV"
#   set endpoint = "unix:///var/run/docker.sock"
#
#   ## When true, container logs are read from the beginning; otherwise
#   ## reading begins at the end of the log.
#    from_beginning = false
#
#   ## Timeout for Docker API calls.
#    timeout = "5s"
#   ## Whether to report for each container per-device blkio (8:0, 8:1...) and
#   ## network (eth0, eth1, ...) stats or not
#    perdevice = true
#   ## Whether to report for each container total blkio and network stats or not
#    total = false
#
#   ## Containers to include and exclude. Globs accepted.
#   ## Note that an empty array for both will include all containers
#    container_name_include = []
#    container_name_exclude = []
#
#   ## Container states to include and exclude. Globs accepted.
#   ## When empty only containers in the "running" state will be captured.
#    container_state_include = []
#    container_state_exclude = []
#
#   ## docker labels to include and exclude as tags.  Globs accepted.
#   ## Note that an empty array for both will include all labels as tags
#    docker_label_include = []
#    docker_label_exclude = []
#
#   ## Set the source tag for the metrics to the container ID hostname, eg first 12 chars
#   source_tag = false
#
#   ## Optional TLS Config
#   # tls_ca = "/etc/telegraf/ca.pem"
#   # tls_cert = "/etc/telegraf/cert.pem"
#   # tls_key = "/etc/telegraf/key.pem"
#   ## Use TLS but skip chain & host verification
#   # insecure_skip_verify = false

Merci pour votre aide.

[MilesTEG1]

@Nasme Hello,

Alors, je ne suis pas expert, mais le code que tu as copier/coller là, les lignes sont toujours commentées. Faut enlever le # pour décommenter 😇

[MilesTEG1]

@.Shad.

Bon j'ai résolu le soucis pour Docker :

 

😄

Il fallait faire un docker-compose up -d :

root@Syno-DS920Plus:/volume1/docker/telegraf# docker-compose up -d
Recreating monitoring_telegraf ... done
root@Syno-DS920Plus:/volume1/docker/telegraf#

Du coup dans le tuto il faudrait modifier la partie où tu dis de relancer le conteneur... Car en fait il faut le recréer.
Donc modifier la partie ci-dessous :  

Le 31/05/2019 à 22:02, .Shad. a dit :

Pour que cela fonctionne, il faut qu'on donne accès au fichier docker.sock à telegraf, il suffit de rajouter dans le docker-compose de telegraf le volume suivant :

- "/var/run/docker.sock:/var/run/docker.sock:ro"

On relance le conteneur, en SSH via la commande suivante :

docker restart telegraf

Ou directement par l'UI de Docker dans Synology.

en :  

Le 31/05/2019 à 22:02, .Shad. a dit :

Pour que cela fonctionne, il faut qu'on donne accès au fichier docker.sock à telegraf, il suffit de rajouter dans le docker-compose de telegraf le volume suivant :

- "/var/run/docker.sock:/var/run/docker.sock:ro"

On recrée le conteneur, en SSH via la commande suivante :

docker-compose up -d

 

 

😇

[.Shad.]

Tiens c'est marrant à l'époque j'avais fait le test et relancer le conteneur suffisait. 😮
Je vais modifier ça aujourd'hui 😉 

@Nasme : en plus de ce que dit @MilesTEG1, tu n'es pas dans la bonne section, c'est inputs.docker et pas inputs.docker_log

 

[MilesTEG1]

@.Shad.

J'ai réussi à faire lier tous les points 😄

Il fallait mettre ça comme réglage :  

 

Mais le soucis est que les valeurs sont prises à intervalles de 1minutes... au lieu de toutes les 10s par exemple. Est-ce que tu saurais pourquoi ? Car je pense que c'est ça qui faisait que les courbes n'étaient pas très belles...

 

 

 

 

 

 

[.Shad.]

Oui j'avais oublié de te répondre, c'est effectivement là que ça se règle. 😉

L'échantillonnage est défini dans la première partie du fichier telegraf.conf, variable :

interval = "10s"

par défaut, tu peux choisir ce que tu veux. Attention toutefois que l'utilisation des ressources système vont augmenter en conséquence 🙂 

EDIT : Attention, dans l'inputs.snmp lié au Synology, il y a un intervalle spécifié qui prend le pas sur l'intervalle général de Telegraf :

[[inputs.snmp]]
   # List of agents to poll
   agents = [  "172.17.0.1"  ]

   # Polling interval
   interval = "30s"

   # Timeout for each SNMP query.
   timeout = "5s"

   # Number of retries to attempt within timeout.
   retries = 3

   # SNMP version, UAP only supports v1
   version = 2

C'est cette valeur que tu dois modifier et qui déterminera la précision de tes graphiques.

Modifié le 1 septembre 2020 par .Shad.

[MilesTEG1]

il y a 37 minutes, .Shad. a dit :

Oui j'avais oublié de te répondre, c'est effectivement là que ça se règle. 😉

L'échantillonnage est défini dans la première partie du fichier telegraf.conf, variable :

interval = "10s"

par défaut, tu peux choisir ce que tu veux. Attention toutefois que l'utilisation des ressources système vont augmenter en conséquence 🙂 

Pourtant j'ai bien cet intervalle dans le fichier de configuration :