[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[Jeff777]

il y a 33 minutes, Drickce Kangel a dit :

Ce matin, c'est déjà différent.

OK

il y a 33 minutes, Drickce Kangel a dit :

Juste pour être sûr, ton ping est vraiment à 235ms? Je trouve ça très haut, non?

Non si je ping speedtest.net il est plutôt à 30ms mais je ne crois pas que la seule mesure reçue soit vraiment significative

Modifié le 3 janvier 2021 par Jeff777

[oracle7]

Bonjour,

@Drickce Kangel

Pour le pays, effectivement le champ n'est pas répertorié dans la table, il suffit simplement d'ajouter dans la requête un champ nommé "server_country".

@Jeff777

C'est vraiment étonnant ce ping à 235 ms, il y a sûrement un problème de connexion réseau.

Chez moi en moyenne il est inférieur à 10 ms.

Maintenant parfois, le serveur contacté n'est pas le plus proche de chez toi. Par exemple, pour moi c'est normalement Rennes et parfois j'ai des connexions sur Lyon, j'ai même eut Eindhoven aux PaysBas :

Donc cela pourrait expliquer cela.

Cela dit, ton réseau 172.x.x.0 est-il bien autorisé dans le pare-feu du NAS ainsi que dans la liste des IP sources pour ton DNS Server ?

Edit : Du coup j'ai été voir le logs speedtest et j'ai un truc bizarre :

root@Maeva56:/volume1/docker/scripts_instal/speedtest# docker-compose logs -f speedtest
Attaching to speedtest
speedtest    | WARNING: no logs are available with the 'db' log driver

A mon tour , une idée ?

Edit 2 : C'est sûr avec tout simplement un docker logs -f speedtest ce la marche beaucoup mieux !!! 🥴

Cordialement

oracle7😉

Modifié le 3 janvier 2021 par oracle7

[Jeff777]

Il y a 2 heures, oracle7 a dit :

Cela dit, ton réseau 172.x.x.0 est-il bien autorisé dans le pare-feu du NAS ainsi que dans la liste des IP sources pour ton DNS Server ?

oui bien sûr. Mais tu as raison fallait vérifier.

Je me suis demandé si pihole ne bloquait pas les requêtes. J'ai mis speedtest.net en whitelist mais cela n'a rien changé. En tout cas j'ai eu une deuxième info vers 11h25 (204ms pour le ping) et ça vient d'un seveur Lyonnais donc à côté de chez moi.

Il y a un gros problème de latence.

 

[Drickce Kangel]

Il y a 2 heures, oracle7 a dit :

Bonjour,

@Drickce Kangel

Pour le pays, effectivement le champ n'est pas répertorié dans la table, il suffit simplement d'ajouter dans la requête un champ nommé "server_country".

@Jeff777

C'est vraiment étonnant ce ping à 235 ms, il y a sûrement un problème de connexion réseau.

Chez moi en moyenne il est inférieur à 10 ms.

Maintenant parfois, le serveur contacté n'est pas le plus proche de chez toi. Par exemple, pour moi c'est normalement Rennes et parfois j'ai des connexions sur Lyon, j'ai même eut Eindhoven aux PaysBas :

Donc cela pourrait expliquer cela.

Cela dit, ton réseau 172.x.x.0 est-il bien autorisé dans le pare-feu du NAS ainsi que dans la liste des IP sources pour ton DNS Server ?

Edit : Du coup j'ai été voir le logs speedtest et j'ai un truc bizarre :

root@Maeva56:/volume1/docker/scripts_instal/speedtest# docker-compose logs -f speedtest
Attaching to speedtest
speedtest    | WARNING: no logs are available with the 'db' log driver

A mon tour , une idée ?

Cordialement

oracle7😉

@oracle7 Génial, merci, j'ai pu faire l'ajout.

il y a 5 minutes, Jeff777 a dit :

oui bien sûr. Mais tu as raison fallait vérifier.

Je me suis demandé si pihole ne bloquait pas les requêtes. J'ai mis speedtest.net en whitelist mais cela n'a rien changé. En tout cas j'ai eu une deuxième info vers 11h25 (204ms pour le ping) et ça vient d'un seveur Lyonnais donc à côté de chez moi.

Il y a un gros problème de latence.

 

@Jeff777Perso, on m'avait dit qu'au dessus de 30ms, c'était beaucoup, quand tu auras la réponse à ce ping, n'hésite pas à nous le dire, c'est intéressant à savoir 

[oracle7]

@Jeff777

Bonjour,

Au fait, qu'est-ce que cela donne lorsque tu fais un speedtest dans un navigateur web sur un PC de ton réseau local ?

Tu as aussi cette latence ?

Cordialement

oracle7😉

[Jeff777]

@oracle7 @Drickce Kangel

Je reviens tardivement. Oui le speedtest dans le navigateur est normal (du moins pour ma ligne pourrie 😅)

 

En fait c'est bien pi-hole qui était bien trop restrictif (50% de blocages). J'ai supprimé quelques listes et je tombe à 30% qui me semble encore beaucoup. Mais maintenant j'ai le Dashboard complet, plus de timeout.

Merci à vous deux vos indications m'ont permis de trouver le problème.

Par contre pas moyen d'avoir le pays des serveurs j'ai beau entrer le champ server_country je n'obtiens aucune  donnée. Y a t-il autre chose à préciser ?

Modifié le 3 janvier 2021 par Jeff777

[Drickce Kangel]

il y a 12 minutes, Jeff777 a dit :

 

Par contre pas moyen d'avoir le pays des serveurs j'ai beau entrer le champ server_country je n'obtiens aucune  donnée. Y a t-il autre chose à préciser ?

@Jeff777 j'ai juste ajouté server_country à la requête, et ça ma ajouté le pays. Voici à quoi ressemble mes settings...

[Jeff777]

Merci @Drickce Kangel

J'avais ceci :

Mais ta méthode est plus simple et permet d'avoir la dernière colonne  😉

[bruno78]

@oracle7@Jeff777@Drickce Kangel ,

merci à vous pour vos travaux sur speedtest. Du coup je l'ai mis en place également relativement facilement. J'ai rajouté dans le dashboard les données de synchro de la Freebox. Cela donne ceci :

2 remarques néanmoins :

• il est tout à fait possible d'héberger le docker SpeedTest sur son NAS, et de viser une instance influxdb distante (mon influxdb/grafana se trouve sur une VPS OVH)
• je trouve anormal (je vais aller voir comment c'est fait, il y a peut-être une bonne raison ?) de devoir indiquer le usr/pwd admin d'influxdb, et pas uniquement le user/pwd dédiée à la db dédiée créee pour cela dans influxdb.

Cdt

Bruno78

[Jeff777]

789/504 MB/s ça me fait rêver 😃

[MilesTEG1]

Un dashboard Speedtest... c'est complètement inutile... mais ça me donne envie de le mettre en place moi aussi 🤣

Vous avez placer ça dans un dashboard dédié ? Car je trouve que mon dashboard du NAS+Routeur commence à être bien chargé 😅

[Jeff777]

@MilesTEG1

Oui un dédié mais je crois que je vais me faire un général avec les infos les plus pertinentes de mes 5 Dashboaeds

[bruno78]

@MilesTEG1@Jeff777

pareil, un dashboard dédié, mais trop de dashboards dédiés  .... donc oui surement faire un dashboard de synthèse.

[MilesTEG1]

Faire une synhtèse 😅 ce à quoi je ne suis pas vraiment doué 🤣 (et dire que je demandes à mes élèves de me faire des fiches bilan... 

[Drickce Kangel]

Il y a 3 heures, bruno78 a dit :

 

• je trouve anormal (je vais aller voir comment c'est fait, il y a peut-être une bonne raison ?) de devoir indiquer le usr/pwd admin d'influxdb, et pas uniquement le user/pwd dédiée à la db dédiée créee pour cela dans influxdb.

Cdt

Bruno78

@bruno78je suis complètement d'accord avec toi. Il faudra que je creuse aussi. Si tu trouves une explication n'hésite pas à la partager. C'est vraiment intriguant 🤔

Il y a 2 heures, MilesTEG1 a dit :

Un dashboard Speedtest... c'est complètement inutile... mais ça me donne envie de le mettre en place moi aussi 🤣

Vous avez placer ça dans un dashboard dédié ? Car je trouve que mon dashboard du NAS+Routeur commence à être bien chargé 😅

@MilesTEG1 

J'ai des dashboards dédiés, moi j'aime bien lol 🤩 

Modifié le 4 janvier 2021 par Drickce Kangel

[.Shad.]

Pour ma part ça me dérangeait fort de devoir utiliser le compte admin d'influxdb pour speedtest, du coup je suis parti sur cette image : https://github.com/loganmarchione/docker-speedtest-influxdbv2

Par contre, quelque soit l'image, ils n'aiment visiblement pas que j'accède à mon instance InfluxDB par un proxy inversé, du coup obligé d'exposer le port 8086 sur l'hôte, bon avec ufw je limite ça à la machine qui héberge speedtest, mais c'est moche quand même, Telegraf gère parfaitement le proxy inversé.

Modifié le 4 janvier 2021 par .Shad.

[oracle7]

@.Shad.

Bonjour,

Je pense que tu as dû voir ceci dans le Github de ton image :

Et cela ne te dérange pas ? En termes de confidentialité cela m'interpelle, même si ne sont pas des données primordiales ...

 

EDIT : A propos de la discussion précédente sur le fait de créer des dashbord spécifiques ou pas, savez-vous que l'on peut "encapsuler" des pannels spécifiques dans des "ROW" déroulables . Cela donne cela pour un dashbord unique (quand tout est "enroulé" :

C'est peut être une solution, à vous de voir selon vos goûts et envies ...

Cordialement

oracle7😉

Modifié le 4 janvier 2021 par oracle7

[.Shad.]

J'utilise les rows oui, surtout pour les logs.

Et pour les données ce genre de données-là ne me gênent pas du tout.

[MilesTEG1]

il y a 33 minutes, oracle7 a dit :

@.Shad.

Bonjour,

Je pense que tu as dû voir ceci dans le Github de ton image :

Et cela ne te dérange pas ? En termes de confidentialité cela m'interpelle, même si ne sont pas des données primordiales ...

 

EDIT : A propos de la discussion précédente sur le fait de créer des dashbord spécifiques ou pas, savez-vous que l'on peut "encapsuler" des pannels spécifiques dans des "ROW" déroulables . Cela donne cela pour un dashbord unique (quand tout est "enroulé" :

C'est peut être une solution, à vous de voir selon vos goûts et envies ...

Cordialement

oracle7😉

Oh ! Ça me plait ce système de "row" 😄

pour les données envoyées à Ookla, je pense que ce sont les mêmes quelque soit le conteneur, et je dirais même que ce sont les mêmes via les applications windows/macos, ou via le site internet, non ?

[.Shad.]

L'image de @oracle7 ne récolte pas les données a priori, en tout cas la documentation ne le mentionne pas.
Pour tout le reste comme tu dis oui, la version browser, ou comme mon FAI par exemple qui de toute façon met chaque jour ma partie client sur leur site avec le dernier test Ookla en date.

Donc bon 😄 

C'est juste l'histoire de devoir utiliser les credentials admin qui me gênent, pour le reste les images sont très similaires dans les données qu'elles renvoient. 🙂 

[oracle7]

@MilesTEG1

Bonjour,

il y a 3 minutes, MilesTEG1 a dit :

pour les données envoyées à Ookla, je pense que ce sont les mêmes quelque soit le conteneur, et je dirais même que ce sont les mêmes via les applications windows/macos, ou via le site internet, non ?

Pour ma part, j'ai compris qu'ils étaient les seuls à récupérer les données de nos tests de vitesses de connexion, les autres du moins, n'en parlent pas.

Pour l'affaire de l'ID et Mdp admin influxdb, lorsque je j'ai fais mes essais d'installation de speedtest, j'ai commencer tout naturellement à utiliser l'Id user influxdb et son mdp associé dans le fichier config.ini. Mais cela ne marchait pas, pas ce connexion possible, donc pas de données récupérées pour grafana.

Et finalement seul l'ID et Mdp admin fonctionnent. Maintenant s'il existe une solution paliative, je suis  preneur aussi.

Cordialement

oracle7😉

@.Shad.

Bonjour,

il y a 3 minutes, .Shad. a dit :

pour le reste les images sont très similaires dans les données qu'elles renvoient.

Pour compléter le vide de mon ignorance et par curriosité, comment fais-tu pour comparer le contenu des images et voir ce quelles renvoient ? C'est peut-être très simple et évident, mais comme cela je ne vois pas.

Cordialement

oracle7😉

 

[.Shad.]

il y a 6 minutes, oracle7 a dit :

Et finalement seul l'ID et Mdp admin fonctionnent. Maintenant s'il existe une solution paliative, je suis  preneur aussi.

Pour ma part, la seule solution que j'ai trouvé est de passer l'utilisateur dédié en admin, ce qui revient au même qu'utiliser les credentials de l'utilisateur admin par défaut.

Et pour les données, je parlais des champs qui sont exploitables dans Grafana, j'ai le ping jitter en plus j'ai l'impression, mais ça n'a pas vraiment d'utilité à moins d'avoir une connexion fluctuante et bien dégueulasse. 😄 

[oracle7]

@.Shad.

Bonjour,

Cela me rassure, si toi tu n'as pas trouvé d'autre solution à l'usage des credentials admin, alors, il ne doit pas y en avoir.

En ce qui concerne ma curiosité, c'est parce qu'en "épluchant" les autres solutions speedtest sur Github, j'ai vu qu'à un moment, un gars récupérait par exemple la distance du serveur utilisé. C'est purement anecdotique mais, j'aurais bien aimé par exemple l'afficher aussi car à mon sens cette distance joue quelque part en partie aussi sur la valeur du ping retourné.

Cordialement

oracle7😉

 

[.Shad.]

@bruno78 est arrivé à cette constatation avant moi. ^^

Pour la distance, je pense que le script récupère simplement les informations que veut bien lui donner Ookla lors d'un speedtest, quand j'en fais un via mon navigateur, je n'ai ni plus ni moins d'info que ce renvoie la page web.
Librespeed en revanche renvoie la distance séparant le client du serveur.

[Jeff777]

Suite à un redémarrage du NAS le docker speedtest faisait le yoyo entre "démarrage en cours" et "lancé".

J'ai fini par comprendre que l'IP de influxdb avait changé de 172.18.0.2 à 172.168.0.5. L'inverse s'était déjà produit mais j'avais cru à une erreur de ma part sur l'adresse de influxdb mise dans config.ini (voir mon pb plus haut dans ce post) .

Avez-vous une idée pour fixer l'adresse de influxdb pour éviter que cela se reproduise ?