[TUTO] Monitoring réseau (Telegraf + InfluxDB 1.8 + Grafana)

[CoolRaoul]

Je recommande d'ailleurs vivement l'installation de la suite de paquets SynoCli, ils sont très pratiques dès que vous commencez à prendre vos aises avec l'interface en ligne de commande.

Bonjour, je viens d'installer les "monitor tools" et je ne retrouve pas dans le lsof inclus dans ce paquet les options auxquelles je suis habitué.
On dirait d'ailleurs qu'il n'en supporte aucune (même pas --help). 

[Dimebag Darrell]

j'ai trois db différentes, je dois le faire pour chacune d'elle ?

[oracle7]

@Dimebag Darrell

Bonjour,

A mon humble avis, cela va dépendre des conteneurs gros consommateurs de mémoire et du coup de la DB à la quelle ils ont rattachés.

Donc pas forcément systématique.

Cordialement

oracle7😉

 

[Dimebag Darrell]

Merci pour l'info,

Je viens de faire un check, 
pour ma DB telegraf, j'ai environ 2.3Go de données sur celle ci et 6.4Go sur la db pour unifipoller

Voici mes questions : 

- si j'applique une nouvelle policy de rétention, va-t-il automatique cleaner les data déjà présentes ?
- je souhaiterais garder 1 mois de donnée, quels paramètres dois-je mettre dans la commande
> CREATE RETENTION POLICY "Retention" ON "nas_speedtest" DURATION 1d REPLICATION 1 DEFAULT
(30d ?)
(que signifie replication dans cette commande ?)

[oracle7]

@Dimebag Darrell

Bonjour,

Tu as la doc ici et les unités de DURATION ici.

Sinon dans la commande pour DURATION tu remplaces simplement "1d" par "4w" (sans les guillemets !!!).

EDIT :

il y a 21 minutes, Dimebag Darrell a dit :

si j'applique une nouvelle policy de rétention, va-t-il automatique cleaner les data déjà présentes ?

Chez moi cela a été le cas mais j'avais configurer la nouvelle politique pour être par défaut.

Sachant aussi que j'ai dû modifier à la main chacune de mes requêtes dans chacun de mes panels. DOnc si tu en as beaucoup, il y a du taf !

Cordialement

oracle7😉

Modifié le 11 juillet 2021 par oracle7

[Dimebag Darrell]

Merci beaucoup.

Je viens de regarder la documentation
Par contre il y a deux notions que je ne comprends pas

- shard ?
- replication ?

Dans la commande il y a une variable à mettre pour REPLICATION, qu'est ce que ça signifie ?
 

Dans mon cas,
dans mon docker influxdb
J'ai 4 databases qui tournent sur celui-ci ?
- Unifi
- Speedtest
- Telegraf
- Varken

Puis-je utiliser la même commande pour les 4 ?

 

Citation

 

Chez moi cela a été le cas mais j'avais configurer la nouvelle politique pour être par défaut.

Sachant aussi que j'ai dû modifier à la main chacune de mes requêtes dans chacun de mes panels. DOnc si tu en as beaucoup, il y a du taf !

 

que veux tu dire par panels ?

 

Modifié le 11 juillet 2021 par Dimebag Darrell

[oracle7]

@Dimebag Darrell

Bonjour,

De ce que j'en ai compris ( @.Shad. me reprendra si besoin) :

Shard = Unité de stockage des données --> càd sur la durée de rétention, les données sont groupées par parquets "shards" de X jours (d) ou X heures (h), etc... voir la doc ici selon la durée de rétention choisie.

Replication = il me semble que ce paramètre parle de lui même. J'ai cru comprendre du coup que les données étaient dupliquées (repliquées) X fois avec X = 1 par défaut.

il y a 6 minutes, Dimebag Darrell a dit :

Puis-je utiliser la même commande pour les 4 ?

Presque, car il te faut la lancer pour chaque DB dont tu veux modifier la rétention.

> CREATE RETENTION POLICY "Retention" ON "nom_DB_a_Traiter" DURATION 4w REPLICATION 1 DEFAULT

Cordialement

oracle7😉

[Dimebag Darrell]

Je viens de recréer chaque container (suite à la création de mes nouvelles polices de rétention dans influxdb)
 

Unifipoller
Telegraf
Speedtest
Varken
InfluxDB

Je viens de remarquer dans grafana que mon historique de donnée avait disparu
Néanmoins, aucun cleanup des data n'est effectué(j'ai tjs autant de donnée dans mes répertoires influxdb) (9 Go de data)

Modifié le 11 juillet 2021 par Dimebag Darrell

[oracle7]

@Dimebag Darrell

Bonjour,

Initialement c'est ce que j'avais fait mais @.Shad. a fort bien expliqué (voir plus haut) que ce n'était pas forcément utile car cela dépend de la politique précédente s'il elle était par défaut ou non.

Cordialement

oracle7😉

[Dimebag Darrell]

il y a 1 minute, oracle7 a dit :

@Dimebag Darrell

Bonjour,

Initialement c'est ce que j'avais fait mais @.Shad. a fort bien expliqué (voir plus haut) que ce n'était pas forcément utile car cela dépend de la politique précédente s'il elle était par défaut ou non.

Cordialement

oracle7😉

Quand j'ai créé mes DB, je n'ai mis aucune politique de rétention.

[oracle7]

@Dimebag Darrell

Bonjour,

Donc tu avais la politique par défaut soit : "autogen".

Cordialement

oracle7😉

[Dimebag Darrell]

Oui, tout à fait.
Je viens de remarquer l'apparition d'un nouveau répertoire qui s'appelle Retention.
 

je viens de faire ça sur toutes mes DB, comme ça, je repars from scratch avec une police de rétention d'un mois.
 

DELETE WHERE time < '2021-07-11'

[oracle7]

@Dimebag Darrell

Bonjour,

il y a 34 minutes, Dimebag Darrell a dit :

Je viens de remarquer l'apparition d'un nouveau répertoire qui s'appelle Retention.

Que tu voies une nouvelle rétention avec la commande "show retention policies" : OK mais un nouveau répertoire ?

Tu es sûr de ton coup là ? Nouveau répertoire, où cela ? Sous /volume1 ?

Cordialement

oracle7😉

[.Shad.]

@CoolRaoul Je t'avoue que je n'utilise quasiment jamais cette commande, mais effectivement ça a l'air limité.
Je me demande bien pourquoi. 😕 

@Dimebag Darrell @oracle7 A vérifier mais je pense que les données sont écrasées uniquement si on remplace la politique de rétention par défaut par une autre.

[oracle7]

@.Shad.

Bonjour,

Je confirme c'est ce qui s'est passé chez moi.

Cordialement

oracle7😉

[Dimebag Darrell]

Oui, j'ai un nouveau répertoire dans
volume1/docker/influxdb/data/data/speedtest
là se trouve Retention, dans la même racine qu'autgen
 

Pour info, après 24h, je remarque que la taille du volume Retention augmente, et autogen n'a pas pris un octet...

Modifié le 12 juillet 2021 par Dimebag Darrell

[oracle7]

@Dimebag Darrell

Bonjour,

Il y a 10 heures, Dimebag Darrell a dit :

Oui, j'ai un nouveau répertoire dans
volume1/docker/influxdb/data/data/speedtest

Oui, OK c'est normal (sur le coup je ne t'avais pas compris 🥴), il faut bien que les données soient stockées quelque part. Comme "autogen" n'est plus utilisée au profit de "retention", c'est aussi normal que sa taille n'évolue pas/plus.

Cordialement

oracle7😉

[Dimebag Darrell]

il y a 2 minutes, oracle7 a dit :

@Dimebag Darrell

Bonjour,

Oui, OK c'est normal (sur le coup je ne t'avais pas compris 🥴), il faut bien que les données soient stockées quelque part. Comme "autogen" n'est plus utilisée au profit de "retention", c'est aussi normal que sa taille n'évolue pas/plus.

Cordialement

oracle7😉

Bonjour @oracle7

Je voulais simplement donner un petit compte rendu sur les changements.
Apparement, tout semble fonctionner correctement.

Je pense que c'est une étape à documenter dans le tuto.
Dans mon cas en l'espace de 3 mois, c'est 9Go qui ont été consommés

[.Shad.]

Oui c'est un ajout que je ferai, je n'ai que récemment joué avec les politiques de rétention (depuis que j'ai rencontré des problèmes de consommation mémoire d'InfluxDB).

[oracle7]

@.Shad.

Bonjour,

Je ne voudrais pas faire le "rabat joie" mais après avoir mis en place une rétention de 15J depuis que l'on en parle, je n'ai pas malheureusement constaté à ce jour de réduction notable de l'emprise mémoire de influxdb. Tout au plus une dizaine de Mo. Maintenant je n'ai qu'une dizaine de conteneurs, ceci pouvant expliquer cela.

Par contre je constate que le conteneur "calibre" lui est vraiment très gourmand, voir plus qu'influxdb et cela seulement par moments alors même je ne l'utilise pas à ces moments là.

Une idée peut-être du pourquoi ? Je soupçonne les mises à jour très fréquentes de celui-ci mais sans être tout à fait certain ...

Cordialement

oracle7😉

Modifié le 12 juillet 2021 par oracle7

[CoolRaoul]

Il y a 14 heures, .Shad. a dit :

l Je t'avoue que je n'utilise quasiment jamais cette commande, mais effectivement ça a l'air limité.
Je me demande bien pourquoi. 😕 

Apparemment c'est le même lsof "light" qu'on trouve  dans BusyBox
 

 

[.Shad.]

il y a 19 minutes, oracle7 a dit :

Je ne voudrais pas faire le "rabat joie" mais après avoir mis en place une rétention de 15J depuis que l'on en parle, je n'ai pas malheureusement constaté à ce jour de réduction notable de l'emprise mémoire de influxdb. Tout au plus une dizaine de Mo. Maintenant je n'ai qu'une dizaine de conteneurs, ceci pouvant expliquer cela.

Ce n'est pas la seule chose que j'ai changé, j'ai passé la plupart des intervalles de 30 à 60 secondes.
Au final je suis passé de 1.8 Go de mémoire à environ 1 Go.
Je suis aussi passé aussi d'une écriture mémoire à une écriture disque les données (voir le paramètre index-version pour InfluxDB 1.8).
Sachant qu'entre temps j'avais stoppé la supervision de pfSense et l'ai remise, sans constater de différence notable (~ 100 Mo).

Je pense que c'est l'intervalle d'envoi des données qui est le plus prépondérant dans l'utilisation de la mémoire vive.

il y a 24 minutes, oracle7 a dit :

Par contre je constate que le conteneur "calibre" lui est vraiment très gourmand, voir plus qu'influxdb et cela seulement par moments alors même je ne l'utilise pas à ces moments là.

Une idée peut-être du pourquoi ? Je soupçonne les mises à jour très fréquentes de celui-ci mais sans être tout à fait certain ...

Je n'utilise que Calibre-web, Calibre est installé sur mon PC et je passe par lui quand j'ai besoin d'ajouter des ebooks à ma bibliothèque. Donc je ne pourrai pas t'aider.

[oracle7]

@.Shad.

Bonjour,

Pour Calibre par de soucis, de toutes façon j'avais créé le conteneur pour voir, comme toi  j'utilise Calibre sur PC c'est bien plus souple. Enfin, je trouve ...

Pour ce qui est du paramètre d'écriture sur disque, j'ai retrouvé ton propos :

Citation

Et j'ai aussi découvert qu'il y a un réglage qu'on peut faire pour réduire la consommation mémoire d'InfluxDB (1.X, ça marche peut-être sur la v2 aussi je ne sais pas). Il faut changer le type d'indexation, il suffit d'ajouter une ligne dans influxdb.conf dans le conteneur :

docker exec -it influxdb bash
echo '  index-version = "tsi1"' >> /etc/influxdb/influxdb.conf 

On quitte le shell du conteneur et on le redémarre. Pour ma part j'ai gagné presque 800 Mo de la sorte.

J'aurai juste une question : il faut réécrire la ligne dans le fichier "influxdb.conf" après chaque récréation du conteneur (j'ai bon ?) : du coup à ta connaissance, on ne pourrait pas mettre cela en variable d'environnement ou autre dans le docker-compose pour éviter à chaque fois cette manipulation d'ajout au influxdb.conf ?

Cordialement

oracle7😉

 

[MilesTEG1]

il y a 56 minutes, .Shad. a dit :

Je n'utilise que Calibre-web, Calibre est installé sur mon PC et je passe par lui quand j'ai besoin d'ajouter des ebooks à ma bibliothèque. Donc je ne pourrai pas t'aider.

C’est un peu HD mais je suis preneur d’infos complémentaires concernant ce type d’utilisation de Calibre 😇

J’utilise pas mal Calibre sur mes ordinateurs mais son dossier de données est un dossier mis dans Drive Server comme ça les données sont synchronisées entre les différents ordinateurs.

Mais je n’ai pas d’accès via un navigateur, ce que j’aimerais avoir pour juste voir quand j’ai pas mes ordis les ebooks que j’ai  afin de vérifier si je dois acheter une promotion ou pas (j’ai trop de ebooks pour le souvenir précisément de tout ce que je possède déjà 🤪)

comment fonctionne calibre web avec les applications desktop ?

[oracle7]

@MilesTEG1

Bonjour,

Tu as ici un TUTO pour calibre-web sous docker qui correspond tout à fait à ton besoin.

Via un navigateur tu te connectes à Calibre-web et tu as accès pour consultation à ta BD d'ebooks situées sur le NAS.

Le plus souple à mon humble avis est d'alimenter et mettre à jour la BD avec Calibre sur un PC.

Cordialement

oracle7😉

Modifié le 12 juillet 2021 par oracle7