[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[.Shad.]

@oracle7 Je pense savoir d'où vient le décalage que tu observes sans ton coefficient, il est simplement au niveau des unités, pour une raison que j'ignore si on considère qu'on lit des Mebibytes et pas des Megabytes (unités IEC vs SI) on tombe sur les valeurs exactes.
Exemple via htop :

7.62G de mémoire, en réalité ça correspond à ce que j'ai en Mebibytes, unités IEC :

Pour passer d'un palier à l'autre, on multiplie ou divise par 2^10.

Calcule maintenant 7629,3949999 / 8000 = 0,9536743749875

Il est là ton coefficient, pour avoir la bonne valeur sur Grafana il te suffit donc d'afficher ta mémoire en unités IEC : Units -> Data -> kibibytes (c'était en kilobytes à la base).

Et je constate exactement le même comportement au niveau du stockage, en utilisant des bytes(IEC) j'ai la valeur exacte que me renvoie le moniteur de ressources.

 

[wiwi95]

Le 02/09/2020 à 08:25, MilesTEG1 a dit :

Je suis en train de voir aussi que les valeurs dans grafana ne sont pas tout à fait celles que j'ai dans le NAS :

   

Le requête :     

Dans les unités, il y a ça de possible :   

J'ai essayé diverses unités byteo ou bits (en metric ou en IEC), sans réussir à obtenir les mêmes valeurs que celles du NAS.
Savez-vous où se trouve l'erreur ?

Je reviens sur cette discussion que tu as posté, dans générale=>type tu as choisi "donut" est ce que tu l'a rajouté comme visualisation car je ne l'ai pas par defaut 

[MilesTEG1]

@oracle7 Je reviens sur ton message là 😉

Voilà ce que ça donne après un peu de bricolage :

Modifié le 26 décembre 2020 par MilesTEG1

[MilesTEG1]

@wiwi95 Le panel c'est PieChart : 

 

Et oui c'est un plugins que j'ai ajouté : https://github.com/grafana/piechart-panel

 

Sinon, voilà mon dashboard actuel :

 

Vous aurez constaté que les panel en gauge sont un peu pété... c'est une MAJ de grafana qui m'a fait ça... lorsque j'ai refait les jauges...

[wiwi95]

Merci à toi 

[MilesTEG1]

il y a 56 minutes, .Shad. a dit :

Pour passer d'un palier à l'autre, on multiplie ou divise par 2^10.

Calcule maintenant 7629,3949999 / 8000 = 0,9536743749875

Il est là ton coefficient, pour avoir la bonne valeur sur Grafana il te suffit donc d'afficher ta mémoire en unités IEC : Units -> Data -> kibibytes (c'était en kilobytes à la base).

Et je constate exactement le même comportement au niveau du stockage, en utilisant des bytes(IEC) j'ai la valeur exacte que me renvoie le moniteur de ressources.

Ho j'avais pas vu ton message ! Super ça 😉

Merci 👍🏻

@.Shad. En fait en vérifiant je constate que j'avais mis cette unité dans les capacités des HDD 😉 Vais modifier pour la RAM 😉

 

@wiwi95 de rien 😉 
PS : si tu veux attirer l'attention de quelqu'un sur une réponse, pense à mettre un @ suivi du pseudo ^^ ça génère une alerte ^^

Modifié le 26 décembre 2020 par MilesTEG1

[oracle7]

@.Shad.

Bonjour,

Merci pour l'information. Effectivement en supprimant le coef 0,954 de ma formule et en sélectionnant l'unité "kibibytes", j'obtiens au Megabytes près les valeurs du moniteur de ressources.

@MilesTEG1

Désolé, non pour la gestion de l'interface eth0, je patauge toujours ....🥴

Cordialement

oracle7😉

[MilesTEG1]

@oracle7 j’ai trouvé qqch mais c’est chaud , je n’ai pas d’interface WAN mais plein de truc...

demain je te ferais une capture, là il est l’heure de reposer mon cerveau 😁

 

[MilesTEG1]

@oracle7
Voilà les différentes interfaces dispo sur le routeur pour les débits :

Ça en fait des possibilités hein XD

Je n'ai pas vu de WAN dans la liste du coup faut sommer tout ce qui est présent ??
J'ai trop la flemme pour faire ça 😮 
Après, faudrait peut être juste faire la somme des ETH utilisés (moi j'ai le port 1 et le port 2 d'utilisés), et le wifi, donc WLAN et wifi, mais là aussi il y en a plein plein 😅

Il y a des interface dont je ne comprends pas le sens : lo ? vbr3 ? qca_nas-dev1 ?...
Des idées ?

[wiwi95]

Il y a 14 heures, wiwi95 a dit :

je crois que j'ai trouvé comment régler l'uptime à voir dans le temps mais pour l'instant je tombe pile dessus

j'ai remplacé math/100 par /75

Bonjour

Bon effectivement cette modification ne fonctionne pas ce matin l'uptime n'était plus synchronisé. 
j'ai regardé ce que tu as fais @MilesTEG1 mais c'est pas concluant non plus chez moi.

Sur mon NAS je suis à 3 jours et 5 heures 

 

Modifié le 27 décembre 2020 par wiwi95

[MilesTEG1]

@wiwi95 Je te conseille de masquer le n° de série de ton NAS dans les captures que tu postes ^^

[wiwi95]

il y a 6 minutes, MilesTEG1 a dit :

@wiwi95 Je te conseille de masquer le n° de série de ton NAS dans les captures que tu postes ^^

👍 @MilesTEG1

j'ai une question concernant le status mise a jour, je comprend pas comment les valeurs sont relevé mon j'ai 2 ou 3 qui s'affiche alors que mon NAS est a jour.

Du coup voila comment j'ai paramétré 

[MilesTEG1]

@wiwi95
Je viens de vérifier l'uptime du NAS et du routeur :
Sur le NAS : 
Sur le routeur : 

 

Ce que dit grafana :

Ce qui correspond bien 😉

1,24 week = 7j + 0,24*7 = 7j + 1,68j = 8j + 0,68x24 = 8j + 16,32h

4,81 day = 4j + 0,81x24 = 4j + 19,44h

 

Tu es sûr de l'uptime de ton NAS ?
Tu as mis quoi comme unité pour l'uptime dans Grafana ?

[wiwi95]

il y a 3 minutes, MilesTEG1 a dit :

@wiwi95
Je viens de vérifier l'uptime du NAS et du routeur :
Sur le NAS : 
Sur le routeur : 

 

Ce que dit grafana :

Ce qui correspond bien 😉

1,24 week = 7j + 0,24*7 = 7j + 1,68j = 8j + 0,68x24 = 8j + 16,32h

4,81 day = 4j + 0,81x24 = 4j + 19,44h

 

Tu es sûr de l'uptime de ton NAS ?
Tu as mis quoi comme unité pour l'uptime dans Grafana ?

Voila ce que j'ai mis 

si je comprends bien il faut que je rajoute des formules ? 😅

[MilesTEG1]

@wiwi95 par rapport à ta dernière question : 

Voilà ce que j'ai
:


Et voilà le code JSON du module, tu peux créer un nouveau panel et copier/coller mon code dans le code du nouveau panel :
Il te faudra juste modifier XXX.XXX.x.xxx par l'IP de ton NAS, et changer le datasource en fonction de ce que tu as mis comme nom à la BDD.
 

{
  "cacheTimeout": null,
  "columns": [],
  "datasource": "NAS_InfluxDB",
  "fieldConfig": {
    "defaults": {
      "custom": {}
    },
    "overrides": []
  },
  "fontSize": "100%",
  "gridPos": {
    "h": 4,
    "w": 12,
    "x": 12,
    "y": 0
  },
  "id": 23763571993,
  "links": [],
  "pageSize": null,
  "pluginVersion": "6.7.3",
  "showHeader": true,
  "sort": {
    "col": 1,
    "desc": false
  },
  "styles": [
    {
      "$$hashKey": "object:1549",
      "alias": "Time",
      "align": "auto",
      "dateFormat": "YYYY-MM-DD HH:mm:ss",
      "pattern": "Time",
      "type": "hidden"
    },
    {
      "$$hashKey": "object:1550",
      "alias": "",
      "align": "",
      "colorMode": null,
      "colors": [
        "rgba(245, 54, 54, 0.9)",
        "rgba(237, 129, 40, 0.89)",
        "rgba(50, 172, 45, 0.97)"
      ],
      "dateFormat": "YYYY-MM-DD HH:mm:ss",
      "decimals": 2,
      "mappingType": 1,
      "pattern": "Temps Fonct.",
      "thresholds": [],
      "type": "number",
      "unit": "timeticks"
    },
    {
      "$$hashKey": "object:1551",
      "alias": "",
      "align": "auto",
      "colorMode": "cell",
      "colors": [
        "rgba(50, 172, 45, 0.97)",
        "rgba(237, 129, 40, 0.89)",
        "rgba(245, 54, 54, 0.9)"
      ],
      "dateFormat": "YYYY-MM-DD HH:mm:ss",
      "decimals": 2,
      "mappingType": 1,
      "pattern": "Mise à jour",
      "preserveFormat": false,
      "thresholds": [
        "3",
        "4"
      ],
      "type": "string",
      "unit": "short",
      "valueMaps": [
        {
          "$$hashKey": "object:1599",
          "text": "Disponible",
          "value": "1"
        },
        {
          "$$hashKey": "object:1600",
          "text": "À jour",
          "value": "2"
        },
        {
          "$$hashKey": "object:1601",
          "text": "Connexion...",
          "value": "3"
        },
        {
          "$$hashKey": "object:1602",
          "text": "Déconnecté",
          "value": "4"
        },
        {
          "$$hashKey": "object:1603",
          "text": "Autres",
          "value": "5"
        }
      ]
    },
    {
      "$$hashKey": "object:6655",
      "alias": "",
      "align": "auto",
      "colorMode": null,
      "colors": [
        "rgba(245, 54, 54, 0.9)",
        "rgba(237, 129, 40, 0.89)",
        "rgba(50, 172, 45, 0.97)"
      ],
      "dateFormat": "YYYY-MM-DD HH:mm:ss",
      "decimals": 2,
      "mappingType": 1,
      "pattern": "agent_host",
      "thresholds": [],
      "type": "hidden",
      "unit": "short"
    },
    {
      "$$hashKey": "object:1552",
      "alias": "",
      "align": "",
      "colorMode": null,
      "colors": [
        "rgba(245, 54, 54, 0.9)",
        "rgba(237, 129, 40, 0.89)",
        "rgba(50, 172, 45, 0.97)"
      ],
      "decimals": 2,
      "pattern": "/.*/",
      "thresholds": [],
      "type": "number",
      "unit": "short"
    }
  ],
  "targets": [
    {
      "alias": "$col",
      "groupBy": [
        {
          "params": [
            "agent_host"
          ],
          "type": "tag"
        }
      ],
      "limit": "",
      "measurement": "snmp.SYNO",
      "orderByTime": "ASC",
      "policy": "default",
      "query": "SELECT last(\"modelName\") AS \"Model\", last(\"version\") AS \"Version\", last(\"serialNumber\") AS \"Serial\", last(\"sysUpTime\") AS \"Uptime\", last(\"upgradeAvailable\") AS \"Update\" FROM \"snmp.SYNO\" WHERE (\"agent_host\" = 'XXX.XXX.x.xxx') AND $timeFilter",
      "rawQuery": false,
      "refId": "A",
      "resultFormat": "table",
      "select": [
        [
          {
            "params": [
              "modelName"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "Modèle"
            ],
            "type": "alias"
          }
        ],
        [
          {
            "params": [
              "serialNumber"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "N° de série"
            ],
            "type": "alias"
          }
        ],
        [
          {
            "params": [
              "version"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "Version"
            ],
            "type": "alias"
          }
        ],
        [
          {
            "params": [
              "sysUpTime"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "Temps Fonct."
            ],
            "type": "alias"
          }
        ],
        [
          {
            "params": [
              "upgradeAvailable"
            ],
            "type": "field"
          },
          {
            "params": [],
            "type": "last"
          },
          {
            "params": [
              "Mise à jour"
            ],
            "type": "alias"
          }
        ]
      ],
      "tags": []
    }
  ],
  "timeFrom": null,
  "timeShift": null,
  "title": "System",
  "transform": "table",
  "type": "table-old"
}

 

il y a 1 minute, wiwi95 a dit :

Voila ce que j'ai mis 

si je comprends bien il faut que je rajoute des formules ? 😅

Moi j'ai ça : 

Inclus dans le code JSON 😉

 

[.Shad.]

@wiwi95

L'unité pour l'uptime c'est Timeticks (s/100), est-ce que c'est ce que tu as ?
La valeur est tirée du fichier RFC1213-MIB.txt, c'est précisé que c'est en "hundredth of a second".

[wiwi95]

En faite pour l'uptime j'avais bon c'était l'affichage de 2 décimal aprés la virgule qui était a corriger.

Merci @MilesTEG1pour ton JSON ça m'a bien aidé 

[wiwi95]

Voila grace à vos précieux conseilles j'ai pu créer un dashboard simple mais avec les infos dont j'ai besoin. 

Plus tard je me pencherais sur les infos provenant de ma livebox tel que : BP utilisé, uptime...mais sure que ça soit réalisable.

[oracle7]

@wiwi95

Bonjour,

Bon travail ...🤗

Il y a 3 heures, wiwi95 a dit :

Plus tard je me pencherais sur les infos provenant de ma livebox tel que : BP utilisé, uptime...mais sure que ça soit réalisable.

JE ne voudrais pas faire le rabat joie mais je crains que ce ne soit pas possible. La Livebox est très vérrouillée. Personnellement cela fait un bail que je cherche des infos sur ce point, aussi si tu tu en as, n'hésites pas à les partager, tu fera pleins d'heureux ici.

Seul truc que j'ai trouvé pour l'instant est ceci mais ne n'est pas a priori intégrable au monitoring actuel de nos NAS. Mais encore une fois, à moins que tu ne saches faire ... alors je serais aussi preneur de tes infos.

Cordialement

oracle7😉

[.Shad.]

@oracle7

En regardant vite fait pour les Livebox je suis tombé sur ça :

http://www.forum-orange.com/viewtopic.php?id=76019&p=1

Si tu télécharges le fichier zip, tu as un script en bash, qui utilise curl pour récupérer toutes les infos et les balancer à un serveur RRD qui va tracer les graphiques.

Il faudrait regarder si Telegraf ne sait pas réaliser ces requêtes curl, par bash ou python, et les envoyer à InfluxDB sous une forme qu'il saura interpréter.

Modifié le 27 décembre 2020 par .Shad.

[oracle7]

@.Shad.

Bonjour,

Oui, je connaissais cette méthode que j'avais déjà trouvée lors de mes précédentes recherches.

il y a 23 minutes, .Shad. a dit :

Il faudrait regarder si Telegraf ne sait pas réaliser ces requêtes curl, par bash ou python, et les envoyer à InfluxDB sous une forme qu'il saura interpréter.

Pour ma part, cela dépasse encore mes compétences.

Par contre il y a aussi cela et cela dans le même genre en notant toutefois aussi une certaine complexité (toujours pour moi, mais d'autres ici sauraient peut-être) à transposer pour l'intégrer au monitoring actuel de nos NAS.

Cela dit, il y a quand même une autre voix qui me paraît bien plus prometteuse pour les mesures de débit IN/OUT internet. C'est celle-ci. Pour ma part, la première partie dépasse encore mes petites connaissances en docker mais je me dis que pour toi serait un "jeu d'enfant".

Aussi, je me permet de te demander de bien vouloir y jeter un œil avertit pour éventuellement nous concocter un mini TUTO de mise en œuvre. Enfin si tu le veux bien et que tu as un peu de ton précieux temps à y consacrer....

Ce serait sympa de ta part.🙂

J'ai aussi trouvé cela qui y ressemble mais malheureusement pas assez documenté à mon goût.

Cordialement

oracle7😉

[oracle7]

@wiwi95

Bonjour,

Il y a 5 heures, .Shad. a dit :

La valeur est tirée du fichier RFC1213-MIB.txt, c'est précisé que c'est en "hundredth of a second".

Si je puis me permettre, c'est bien pour cela qu'il faut l'instruction "math (/100)" pour ramener la valeur en secondes pour que ensuite, pour le champ en question tu fixes en "override" l'unité "Time / duration (d hh:mm:ss)".

Cordialement

oracle7😉

[oracle7]

@MilesTEG1

Bonjour,

Il y a 7 heures, MilesTEG1 a dit :

Je n'ai pas vu de WAN dans la liste du coup faut sommer tout ce qui est présent ??
J'ai trop la flemme pour faire ça 😮 
Après, faudrait peut être juste faire la somme des ETH utilisés (moi j'ai le port 1 et le port 2 d'utilisés), et le wifi, donc WLAN et wifi, mais là aussi il y en a plein plein 😅

Il y a des interface dont je ne comprends pas le sens : lo ? vbr3 ? qca_nas-dev1 ?...
Des idées ?

Voilà sous toutes réserves ce que j'ai pu trouver pour l'instant mais cela ne couvre pas tout !

Maintenant cela peut aussi varier avec tes branchements.

• eth0 serait l'interface WAN du routeur (entre RT et LB)
• eth1 serait l'interface LAN IPv4 du RT
• eth2 serait l'interface LAN IPv6 du RT
• wlan0 serait l'interface Wifi 2,4GHz du RT
• wlan1 serait l'interface Wifi 5GHz du RT
• gwlan0 serait l'interface Wifi invités 2,4GHz du RT
• gwlan1 serait l'interface Wifi invités 5GHz du RT
• gbr0 serait l'interface LAN invités IPv4 du RT
• vbr3 serait l'interface VPN SSTP du RT

Donc dans la clause "FROM" tu remplaces "eth0" par le nom d'interface qui va bien. J'ai aussi fait varier le paramètre de l'instruction "non_negative_derivative" qui me change juste l'échelle (axe Y) sans vraiment savoir quelle valeur est la bonne en fait.

Mais entre nous, cela ne me satisfait pas pleinement, car j'ai du mal à retrouver les valeurs du moniteur de ressources.

Comme je te le disais, je patauge toujours pour trouver le bon réglage ...

Mais peut-être que cela t'ouvrira une piste ... A voir tes suggestions ...

Cordialement

oracle7😉

 

Modifié le 27 décembre 2020 par oracle7

[MilesTEG1]

il y a 33 minutes, oracle7 a dit :

Si je puis me permettre, c'est bien pour cela qu'il faut l'instruction "math (/100)" pour ramener la valeur en secondes pour que ensuite, pour le champ en question tu fixes en "override" l'unité "Time / duration (d hh:mm:ss)".

@oracle7 Perso j'aime pas cet affichage "d hh:mm:ss" c'est pas très lisible et pas très élégant... Et on ne peut pas le personnaliser : j'aurais préférer un affichage comme "2j - 12h52min" ou "2j - 12h52".
Du coup, je laisse l'unité en Timeticks (s/100) et je laisse le système me dire combien ça fait ^^

Car si tu as plusieurs semaines d'uptimes, ça va faire beaucoup de jours ^^

 

il y a 5 minutes, oracle7 a dit :

Voilà sous toutes réserves ce que j'ai pu trouver pour l'instant mais cela ne couvre pas tout !

Maintenant cela peut aussi varier avec tes branchements.

eth0 serait l'interface WAN du routeur (entre RT et LB)

Haaa, cool ^^
Tu as eu les infos quelque part ? Ou bien ce sont des déductions ?

En tout cas, c'est étrange de numéroter ainsi...
Et du coup, tous les ports LAN sont mis dans le même lot c'est ça ?

il y a 3 minutes, oracle7 a dit :

Donc dans la clause "FROM" tu remplaces "eth0" par le nom d'interface qui va bien. J'ai aussi fait varier le paramètre de l'instruction "non_negative_derivative" qui me change juste l'échelle (axe Y) sans vraiment savoir quelle valeur est la bonne en fait.

Je vais essayer 😉
Sinon pour les valeurs, faut peut être mettre, comme pour les capacités, l'unité byte IEC.
J'essaie dès que je peux 😉

 

[oracle7]

@MilesTEG1

Bonjour,

il y a 17 minutes, MilesTEG1 a dit :

Tu as eu les infos quelque part ? Ou bien ce sont des déductions ?

C'est le fruit de mes recherches sur le tas, en recoupant les infos d'@IP, d'@MAC, ifconfig en SSH, etc ... D'où les limites à ne pas tout trouver et donc tout expliquer. Synology ne nous aide pas non plus beaucoup, sa doc est aussi assez "pauvre" quelque part 🥴

il y a 19 minutes, MilesTEG1 a dit :

Et du coup, tous les ports LAN sont mis dans le même lot c'est ça ?

Que veux-tu dire ?

il y a 20 minutes, MilesTEG1 a dit :

Perso j'aime pas cet affichage

Là effectivement chacun voit "midi à sa porte" 🤪

Cordialement

oracle7😉