[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[Jeff777]

@.Shad.

Quel boulot ! Un plaisir de lire tes explications très claires et très documentées. Je vais me faire un dashboard pour mon Raspberry 👍

Une question. J'avais fait un container jellyfin. Lorsque je regarde son fichier docker-compose la version en tête est "3". Qu'est-ce que la version 3 offre par rapport à la version 2.1 ?

[.Shad.]

La version 3 est plus orientée Docker Swarm => c'est Docker en cluster, principalement pour de la haute disponibilité.
Ca nous concerne très rarement, c'est plus dans des environnements de production.

[Jeff777]

Merci 👍

[oracle7]

@.Shad.

Bonjour,

Très belle synthèse que voilà, tout y est et expliqué de façon claire et simple, bravo et MERCI !🤗🤗🤗

Après cela, à la vue de la simplicité de mise en œuvre du système, il y a des idées qui vont germer de tous les cotés, c'est sûr ... 😀

Pour ceux que cela intéresseraient, je peux fournir les fichiers MIBs HIKVision pour superviser des caméras de cette marque ainsi que la partie correspondante à inclure dans le fichier "telegraph.conf" pour la récupération de leurs données. Je t'ai transmis aussi une vue du panel de supervision pour celles-ci donc si tu veux l'afficher. C'est toi qui vois ...

Cordialement

oracle7😉

[Jeff777]

@.Shad.

Je teste le dashboard Rasperry suivant ton tuto. Je suis coincé à :

docker run --rm telegraf telegraf config > telegraf.conf

permission non accordée même avec sudo devant.

J'ai d'ailleurs dû user du sudo pour   mkdir -p /opt/containers/telegraf

Je peux tenter de me débrouiller autrement mais je voudrais comprendre ce qui ne va pas. Fallait-il se connecter en vrai root sur le raspberry ?

 

Modifié le 9 janvier 2021 par Jeff777

[.Shad.]

@Jeff777 Quelle méthode as-tu appliqué pour installer Docker ? Celle de  https://iotbytes.wordpress.com/setting-up-docker-on-raspberry-pi-and-running-hello-world-container/ ?

Peux-tu vérifier que ton utilisateur fait partie du groupe docker ?

id

Si c'est le cas tu verras un GID correspondant au groupe docker. C'est ce qui permet d'exécuter des commandes docker sans passer par sudo.

Et je vais effectivement ajouter qu'il faut utiliser sudo pour les premières commandes, vu que /opt/ est par définition en dehors du home de l'utilisateur par défaut.

[Jeff777]

il y a 6 minutes, .Shad. a dit :

Quelle méthode as-tu appliqué pour installer Docker ? Celle de  https://iotbytes.wordpress.com/setting-up-docker-on-raspberry-pi-and-running-hello-world-container/ ?

Oui celle-ci

il y a 6 minutes, .Shad. a dit :

Peux-tu vérifier que ton utilisateur fait partie du groupe docker ?

pi@user:/ $ id
uid=1000(pi) gid=1000(pi) groupes=1000(pi),4(adm),20(dialout),24(cdrom),27(sudo),29(audio),44(video),46(plugdev),60(games),100(users),101(input),108(netdev),995(docker),997(gpio),998(i2c),999(spi)
 

C'est bon?

[.Shad.]

Oui c'est bon, c'était une bêtise de mon côté, en fait quand tu écris :

docker run --rm telegraf telegraf config > telegraf.conf

Tu dis d'écrire l'output de la commande à gauche de > dans un fichier telegraf.conf dans le dossier courant. Mais vu que tu es dans un répertoire où pi n'a pas de privilèges, il ne peut rien écrire, car ">" est exécuté à partir du shell et pas de sudo.

On corrige légèrement la commande en utilisant plutôt :

docker run --rm telegraf telegraf config | sudo tee telegraf.conf

[Jeff777]

ah oui ça marche 👍. Je continue

[Jeff777]

Bonjour @.Shad.

Je suis arrivé au bout mais au dashboard j'ai l'erreur : network error 400.

Sinon quelques remarques :

1/Faire exit avant docker restart influxdb  ça peut paraître évident mais ça vaut le coup de préciser😄

2/La version 2.1 du docker-compose ne fonctionne pas sur mon Raspberry j'ai dû mettre 2

3/ Pour copier le docker-compose et créer le fichier telegraf.conf  je suis passé en vrai root avec WINscp

Bon je vais regarder d'où vient l'erreur network.

Si tu as une idée...

 

Modifié le 10 janvier 2021 par Jeff777

[.Shad.]

Il y a 6 heures, Jeff777 a dit :

1/Faire exit avant docker restart influxdb  ça peut paraître évident mais ça vaut le coup de préciser😄

Ok 😉

Il y a 6 heures, Jeff777 a dit :

2/La version 2.1 du docker-compose ne fonctionne pas sur mon Raspberry j'ai dû mettre 2

En fait, je me rends compte que le lien que j'ai donné (qui était déjà dans le tutoriel à l'époque) n'est plus à jour.
La bonne méthode pour installer Docker sur Raspbian c'est d'utiliser le script : https://docs.docker.com/engine/install/debian/#install-using-the-convenience-script

Donc je te conseille de désinstaller Docker dans un premier temps, en suivant la procédure de désinstallation à la fin de la page donnée en lien ci-dessus.

Et pour installer Docker-compose, je passe par pip3 vu que c'est du Python : 

sudo apt-get install -y libffi-dev libssl-dev python3 python3-pip
sudo pip3 -v install docker-compose

Je màj le tutoriel, merci de ton retour. 👌

Il y a 8 heures, Jeff777 a dit :

Je suis arrivé au bout mais au dashboard j'ai l'erreur : network error 400.

Que disent les logs des 3 applications quand tu cliques sur "Save & test" dans la datasource ?
 

[Jeff777]

il y a 14 minutes, .Shad. a dit :

Je suis arrivé au bout mais au dashboard j'ai l'erreur : network error 400.

Non c'est corrigé j'ai repris la fin j'avais dû faire une erreur. Par contre lorsque j'essaie ton "pannel" je peux sélectionner mem  puis host mais raspberry n'apparaît pas.

il y a 18 minutes, .Shad. a dit :

Donc je te conseille de désinstaller Docker dans un premier temps

Ok je vais faire cela

pardon c'est bien "raspberrypi" qui n'apparait pas pas "raspberry"

[.Shad.]

Est-ce que par hasard tu aurais mis :

hostname: raspberry

dans le fichier docker-compose ?

Peux-tu vérifier sinon en SSH ce que tu obtiens en tapant simplement :

hostname

Dans les faits c'est pas important du tout, mais c'est histoire de vérifier un truc que j'ai pas vérifié depuis longtemps 😉 

Modifié le 10 janvier 2021 par .Shad.

[Jeff777]

il y a 20 minutes, .Shad. a dit :

hostname: raspberry

Non je viens de corriger mon post c'était bien raspberrypi

Par contre mon hostname c'est raspi !

J'ai recréer le docker avec raspi en hostname et ça ne change rien 😫

Je vais tenter de réinstaller le bon docker.

Modifié le 10 janvier 2021 par Jeff777

[Jeff777]

J'ai réinstallé  docker selon le tuto et j'ai un warning (pas trop grave pour l'instant) : 

root@raspi:/opt/containers/telegraf# docker-compose up -d
/usr/local/lib/python3.5/dist-packages/paramiko/transport.py:33: CryptographyDeprecationWarning: Python 3.5 support will be dropped in the next release of cryptography. Please upgrade your Python.
  from cryptography.hazmat.backends import default_backend
Creating telegraf ... done
 

et toujours pas de retour d'info dans le panel.. J'ai essayé plusieurs choses:

Changer le hostname raspberrypi, raspi ou commenter la ligne

changer l'adresse du nas 192.168.1.10 puis 172.18.0.2

J'arrête pour ce soir. Bye !

[Jeff777]

Bonjour @.Shad.

Toujours pas de succès. J'ai ceci dans le log d'influxdb du nas :

[httpd] fe80::blabla, 192.168.1.10, 192.168.1.10,172.18.0.4 - raspi_telegraf [11/Jan/2021:11:10:56 +0000] "GET /query?db=raspi_telegraf&epoch=ms&q=SHOW+RETENTION+POLICIES+on+%22raspi_telegraf%22 HTTP/1.1" 200 149 "-" "Grafana/7.3.6" ad9973c2-5blabla

Il reçoit bien quelque chose du raspberry Edit: pas sûr🙄 . Est-ce qu'il manque des droits quelque part?

Modifié le 11 janvier 2021 par Jeff777

[bruno78]

@Jeff777,

a priori la ligne de log que tu montres correspond à l'interrogation depuis grafana (c'est un "query").

Essaie de te connecter sur influxdb avec le user/pwd que tu as défini (pour vérifier les droits), puis si OK alors avec un "show databases" tu dois voir la database que tu as configurée pour recevoir les données du RPi. Si ok, alors bascule sur cette database ("use raspi_telegraf" [d'après ton log]) et regarde si tu as des données ("show measurements").

Voilà rapidement ce que cela doit donner : avec influxdb en docker sur une VPS d'OVH, collectant les données de mon RPi sur le réseau mon local (telegraf installé sur le RPi3 en tant que service à part entière, et non pas en docker, mais ca ne doit pas changer grand chose).

root@vps-xxxx:/home/xxxx#
root@vps-xxxx:/home/xxxx# docker exec -it influxdb /bin/bash
root@influxdb:/# influx -username pi_telegraf -password 'xxxxxx'
Connected to http://localhost:8086 version 1.8.3
InfluxDB shell version: 1.8.3
> show databases
name: databases
name
----
pi_telegraf
> use pi_telegraf
Using database pi_telegraf
> show measurements
name: measurements
name
----
cpu
disk
diskio
kernel
mem
net
processes
rpi3B_temp
swap
system
> exit
root@influxdb:/# exit
exit
root@vps-xxxx:/home/xxxx#

 

[.Shad.]

Ce qu'a dit @bruno78 ainsi que les logs de Telegraf du Raspberry Pi (moi j'ai mis un Portainer agent sur les deux que j'ai pour faciliter leur gestion, et la lecture de logs est pratique) et les logs d'InfluxDB, Grafana n'a pas vraiment d'importance, je doute que le problème vienne de là.

[bruno78]

Une fois qu'on sera certain que les données de telegraf sont bien receptionnées par influxdb, on aura fait un grand pas en avant 

[Jeff777]

Bonjour @bruno78 @.Shad.

Merci les gars, je vais regarder cela dès que j'aurai la permission de rester un peu plus les écrans (opération de la cataracte hier après midi accident de jeunesse 🤣)  A plus

[.Shad.]

Bon rétablissement 🙂 

[oracle7]

@Jeff777

Bonjour,

Je te souhaite un prompt rétablissement, on a besoin de ton œil averti ici ...😀

Cordialement

oracle7😉

[bruno78]

@Jeff777 reviens nous avec un œil de lynx . Bon rétablissement.

Bruno78

[Jeff777]

Sympa les gars. Merci. J'ai maintenant deux yeux bioniques : un pour voir de loin et un pour voir de près. 👍

Je retourne sur les Dashboards demain. Je vais déjà mettre un portainer agent comme l'indique @.Shad. je ne savais pas que c'était possible puis je vais m'attaquer au message de @bruno78

A+

[Jeff777]

Bonjour,

@bruno78

voilà ce que cela donne :

root@influxdb:/# influx -username raspi_telegraf -password xxxxx
Connected to http://localhost:8086 version 1.8.3
InfluxDB shell version: 1.8.3
> show databases
name: databases
name
----
raspi_telegraf
> use raspi_telegraf
Using database raspi_telegraf
> show measurements
>
 

Pas de réponse à show measurements. Avant c'est correct

@.Shad.

J'ai installé l'agent sur le raspberry mais je suis bloqué à

 

Comment je fais pour faire remonter les dockers du raspberry dans portainer du nas ?