[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[Philippe D]

bonjour @.Shad.,

j'ai fais 2 modifs : ouvrir + de droit dans le Firewall    et re-changer comme suit le fichier config

8-B-3-c-1.  agents

agents = [  "xxx.xxx.xxx.xxx", "xxx.xxx.xxx.xxx" ]

Ce sont les IP des NAS à superviser, vous pouvez parfaitement passer par l'IP passerelle du NAS sur lequel Telegraf est installé : 172.18.0.1 (si le réseau bridge utilisé est 172.18.0.0, à adapter au besoin).
Si vous souhaitez superviser d'autres NAS, il faut entrer l'IP par laquelle vous-même les contacteriez : IP locale si sur le réseau local, IP publique si NAS à distance, etc...

 

plus d'erreurs sauf ceci : 

 

la commande    sudo docker network inspect monitoring : 

[
    {
        "Name": "monitoring",
        "Id": "0c9e6c38a3ecb6c49fffcda5dca74100f77b706f62c02dbc23c3577574763205",
        "Created": "2024-01-18T09:03:26.533446211+01:00",
        "Scope": "local",
        "Driver": "bridge",
        "EnableIPv6": false,
        "IPAM": {
            "Driver": "default",
            "Options": {},
            "Config": [
                {
                    "Subnet": "172.18.0.0/24",
                    "Gateway": "172.18.0.1"
                }
            ]
        },
        "Internal": false,
        "Attachable": false,
        "Ingress": false,
        "ConfigFrom": {
            "Network": ""
        },
        "ConfigOnly": false,
        "Containers": {
            "47249085a4f916578238f5ebafa8bef30ee99cb5c7b2cec78622d7e74581d720": {
                "Name": "telegraf",
                "EndpointID": "c771b553ddeacbabe9a7483bc247c5db5065fd48c689fda737ee401ac7e298bd",
                "MacAddress": "02:42:ac:12:00:03",
                "IPv4Address": "172.18.0.3/24",
                "IPv6Address": ""
            },
            "48b67a79ddbadcd12f83ee81c624dc17101b609c68523ba00e125692cbecb867": {
                "Name": "influxdb",
                "EndpointID": "878f955598f7318f79f7054e24634612d505e93e7ab8cf3a83ef8797f3c1f44c",
                "MacAddress": "02:42:ac:12:00:02",
                "IPv4Address": "172.18.0.2/24",
                "IPv6Address": ""
            }
        },
        "Options": {
            "com.docker.network.bridge.name": "br_monitoring"
        },
        "Labels": {}
    }
]

[.Shad.]

@Philippe D J'ai cette erreur sur toutes mes instances, pour l'instant ça n'a pas posé de problèmes au niveau de Grafana.

[Philippe D]

ok merci @.Shad. pour la réponse 

je viens de refaire  le tuto avec un seul fichier docker-compose et cela fonctionne très bien :

 

je vais creuser pour le reste (dashboard, infos collectées .... )

bonne journée

 

[.Shad.]

👌 Ca a du sens d'utiliser un seul fichier vu que les trois applications fonctionnent ensemble.

[Philippe D]

maintenant, les infos du DS720+ remontent mais je constate une coupure de l'ETH1:in toutes les 15 mins environ et après changement de port c'est au tour de l'ETH0:in à d'autres intervalles  mais semble s'estomper     ???

ba non ....

 

Modifié le 18 janvier par Philippe D

[.Shad.]

Côté logs ça donne quoi à ces timestamps ?

[Philippe D]

bonjour @.Shad., à quel endroit ou avec quelle commande ssh trouver les logs ?

Merci

[.Shad.]

Les logs de Telegraf juste, comme sur tes impressions d'écran.
Si les données ne sont plus reçues, c'est que soit Telegraf rencontre un problème à ce moment-là (probable), soit que InfluxDB ne reçoit plus les données (peu probable).

Il faudrait vérifier les deux logs, tu as l'avatange d'avoir le timestamp exact via Grafana, ça t'aidera dans tes recherches.

[Philippe D]

à  12h08  log   (13h08 visu grafana) : arrêt de ETH0:in

 

influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:06:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" 1d2c2f4b-b6c3-11ee-91de-0242ac120004 78983
telegraf  | 2024-01-19T12:06:02Z D! [outputs.influxdb] Wrote batch of 93 metrics in 88.027973ms
telegraf  | 2024-01-19T12:06:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:06:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:06:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:06:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:06:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:06:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:07:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:07:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" 40f00e8a-b6c3-11ee-91df-0242ac120004 38684
telegraf  | 2024-01-19T12:07:01Z D! [outputs.influxdb] Wrote batch of 93 metrics in 47.88577ms
telegraf  | 2024-01-19T12:07:01Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:07:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:07:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:07:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:07:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
grafana   | logger=cleanup t=2024-01-19T12:07:43.494523564Z level=info msg="Completed cleanup jobs" duration=36.854124ms
telegraf  | 2024-01-19T12:07:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
grafana   | logger=grafana.update.checker t=2024-01-19T12:07:53.52576194Z level=info msg="Update check succeeded" duration=44.018696ms
grafana   | logger=plugins.update.checker t=2024-01-19T12:07:53.529611128Z level=info msg="Update check succeeded" duration=60.540566ms
telegraf  | 2024-01-19T12:08:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
telegraf  | 2024-01-19T12:08:01Z D! [outputs.influxdb] Wrote batch of 93 metrics in 46.930038ms
telegraf  | 2024-01-19T12:08:01Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:08:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" 64b3e33f-b6c3-11ee-91e0-0242ac120004 39020
telegraf  | 2024-01-19T12:08:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:08:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:08:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:08:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:08:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:09:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:09:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" 8877db87-b6c3-11ee-91e1-0242ac120004 32978
telegraf  | 2024-01-19T12:09:01Z D! [outputs.influxdb] Wrote batch of 93 metrics in 41.013806ms
telegraf  | 2024-01-19T12:09:01Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:09:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:09:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:09:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:09:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:09:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:10:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:10:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" ac3ba337-b6c3-11ee-91e2-0242ac120004 18425
telegraf  | 2024-01-19T12:10:01Z D! [outputs.influxdb] Wrote batch of 93 metrics in 26.344296ms
telegraf  | 2024-01-19T12:10:01Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:10:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:10:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:10:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:10:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:10:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:11:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:11:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" cfff51e7-b6c3-11ee-91e3-0242ac120004 85507
telegraf  | 2024-01-19T12:11:02Z D! [outputs.influxdb] Wrote batch of 93 metrics in 93.42306ms
telegraf  | 2024-01-19T12:11:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:11:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:11:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:11:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:11:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:11:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:12:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:12:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" f3c300c4-b6c3-11ee-91e4-0242ac120004 36316
telegraf  | 2024-01-19T12:12:01Z D! [outputs.influxdb] Wrote batch of 93 metrics in 44.1772ms
telegraf  | 2024-01-19T12:12:01Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:12:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:12:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:12:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:12:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:12:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:13:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:13:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" 1786b429-b6c4-11ee-91e5-0242ac120004 41035
telegraf  | 2024-01-19T12:13:02Z D! [outputs.influxdb] Wrote batch of 93 metrics in 48.951467ms
telegraf  | 2024-01-19T12:13:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:13:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:13:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:13:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:13:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:13:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:14:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:14:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" 3b4a9348-b6c4-11ee-91e6-0242ac120004 36979
telegraf  | 2024-01-19T12:14:02Z D! [outputs.influxdb] Wrote batch of 93 metrics in 44.782335ms
telegraf  | 2024-01-19T12:14:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:14:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:14:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:14:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:14:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:14:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:15:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:15:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" 5f0e602b-b6c4-11ee-91e7-0242ac120004 41968
telegraf  | 2024-01-19T12:15:02Z D! [outputs.influxdb] Wrote batch of 93 metrics in 49.753008ms
telegraf  | 2024-01-19T12:15:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:15:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:15:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:15:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:15:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:15:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:16:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:16:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" 82d22732-b6c4-11ee-91e8-0242ac120004 46544
telegraf  | 2024-01-19T12:16:02Z D! [outputs.influxdb] Wrote batch of 93 metrics in 54.575049ms
telegraf  | 2024-01-19T12:16:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:16:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:16:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:16:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:16:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:16:51Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:17:00Z D! [inputs.system] Reading users: open /var/run/utmp: no such file or directory
influxdb  | [httpd] 172.18.0.3 - nas_telegraf [19/Jan/2024:12:17:01 +0000] "POST /write?db=nas_telegraf HTTP/1.1 " 204 0 "-" "Telegraf/1.29.2 Go/1.21.5" a6960718-b6c4-11ee-91e9-0242ac120004 39106
telegraf  | 2024-01-19T12:17:02Z D! [outputs.influxdb] Wrote batch of 93 metrics in 46.98874ms
telegraf  | 2024-01-19T12:17:02Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:17:11Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:17:21Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:17:31Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics
telegraf  | 2024-01-19T12:17:41Z D! [outputs.influxdb] Buffer fullness: 0 / 10000 metrics

 

environ toutes les 30 minutes ETH0:in vide pendant 2 mins

[.Shad.]

@Philippe D je ne vois rien d'anormal, pour moi si c'était un problème de collecte de Telegraf alors le buffer varierait en taille, car il n'arriverait pas à récolter autant de données qu'habituellement.

Est-ce que dans le centre de journaux du NAS tu as des entrées relatives à ce timestamp ? que dit le monitoring de l'activité réseau ?

Tu peux éventuellement regarder ce qui se passe au niveau de /var/log/messages ou /var/lol/syslog.lol

[Philippe D]

@.Shad., effectivement :

-rien de significatif dans les journaux du NAS

- par contre le monitoring activité réseau ... j'ai des trous mais qui ne correspondent pas aux timestamp de grafana 

[Philippe D]

ce qui est bizarre 

sur le zoom 1 semaine j'ai ceci (avec des coupures en augmentation)

 

et sur le temps réel de 18h27 à 19h27 environ  :  RAS

j'y perds mon latin 

[.Shad.]

Tu n'aurais pas activé l'hibernation des disques ?

[Philippe D]

non, pas d'hibernation de disques

 

je ne comprends pas, cela ne semble concerner que l'ETH0:in et toujours à intervalle régulier

 

Ca n'a pas l'air bien grave mais je voudrais comprendre

et le monitoring réseau et RAM Synology :

 

[.Shad.]

Là comme ça je n'ai pas d'idée malheureusement, à voir si ça persiste au fil des jours.
Tu peux toujours essayer de redémarrer le NAS.

[Philippe D]

oui je vais ré démarrer le NAS,  

c'est curieux mas pas bien grave, j'espère.

Merci encore pour votre aide

bon weekend      

[Philippe D]

toujours pareil sans rien dans la log telegraf aux timestamp vides

j'ai investigué dans le DSM voir si une appli ou autre aurait une action régulière qui pourrait impacter la prise réseau 1 en entrée mais je ne vois rien

je vais essayer de change de Dashboard pour voir si j'obtiens une différence.

 

[Philippe D]

bon , Dashboard changé mais pas de différence... je m'en doutais.

Le souci se trouve à mon sens au niveau de la capture de l'info à ce moment là car ce n'est pas un 0 (zero) qui apparait mais RIEN, c'est simplement vide

je vais continuer à creuser ....

Bon dimanche 

[Dimebag Darrell]

Bonjour tout le monde,

Après avoir effectué plusieurs recherches, le problème avec Unifi Poller et le monitoring semble toujours subisiter
Avez vous trouver une astuce pour contourner le problème ?

[Dimebag Darrell]

Bonjour tout le monde,

Pour info, j'ai trouvé la solution concernant UNIFI,

J'ai simplement updaté les dashboard en important les nouveaux templates

https://grafana.com/grafana/dashboards/10416-unifi-poller-usg-insights-influxdb/
https://grafana.com/grafana/dashboards/10418-unifi-poller-client-insights-influxdb/
https://grafana.com/grafana/dashboards/10414-unifi-poller-network-sites-influxdb/
https://grafana.com/grafana/dashboards/10415-unifi-poller-uap-insights-influxdb/
https://grafana.com/grafana/dashboards/10417-unifi-poller-usw-insights-influxdb/
https://grafana.com/grafana/dashboards/10419-unifi-poller-client-dpi-influxdb/

Depuis, tout semble fonctionner

Par contre, sur mon synology (monitoring grafana), je n'arrive plus à voir les informations relatives à mes dockers
Une idée ?

[Dimebag Darrell]

Bonjour tout le monde

Une question
Auriez vous détecté des problèmes de monitoring speedtest depuis quelques jours ?