CoolRaoul Posté(e) le 10 juillet 2021 Posté(e) le 10 juillet 2021 Je recommande d'ailleurs vivement l'installation de la suite de paquets SynoCli, ils sont très pratiques dès que vous commencez à prendre vos aises avec l'interface en ligne de commande. Bonjour, je viens d'installer les "monitor tools" et je ne retrouve pas dans le lsof inclus dans ce paquet les options auxquelles je suis habitué. On dirait d'ailleurs qu'il n'en supporte aucune (même pas --help). 0 Citer
Dimebag Darrell Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 j'ai trois db différentes, je dois le faire pour chacune d'elle ? 0 Citer
oracle7 Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 @Dimebag Darrell Bonjour, A mon humble avis, cela va dépendre des conteneurs gros consommateurs de mémoire et du coup de la DB à la quelle ils ont rattachés. Donc pas forcément systématique. Cordialement oracle7😉 0 Citer
Dimebag Darrell Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 Merci pour l'info, Je viens de faire un check, pour ma DB telegraf, j'ai environ 2.3Go de données sur celle ci et 6.4Go sur la db pour unifipoller Voici mes questions : - si j'applique une nouvelle policy de rétention, va-t-il automatique cleaner les data déjà présentes ? - je souhaiterais garder 1 mois de donnée, quels paramètres dois-je mettre dans la commande > CREATE RETENTION POLICY "Retention" ON "nas_speedtest" DURATION 1d REPLICATION 1 DEFAULT (30d ?) (que signifie replication dans cette commande ?) 0 Citer
oracle7 Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 (modifié) @Dimebag Darrell Bonjour, Tu as la doc ici et les unités de DURATION ici. Sinon dans la commande pour DURATION tu remplaces simplement "1d" par "4w" (sans les guillemets !!!). EDIT : il y a 21 minutes, Dimebag Darrell a dit : si j'applique une nouvelle policy de rétention, va-t-il automatique cleaner les data déjà présentes ? Chez moi cela a été le cas mais j'avais configurer la nouvelle politique pour être par défaut. Sachant aussi que j'ai dû modifier à la main chacune de mes requêtes dans chacun de mes panels. DOnc si tu en as beaucoup, il y a du taf ! Cordialement oracle7😉 Modifié le 11 juillet 2021 par oracle7 1 Citer
Dimebag Darrell Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 (modifié) Merci beaucoup. Je viens de regarder la documentation Par contre il y a deux notions que je ne comprends pas - shard ? - replication ? Dans la commande il y a une variable à mettre pour REPLICATION, qu'est ce que ça signifie ? Dans mon cas, dans mon docker influxdb J'ai 4 databases qui tournent sur celui-ci ? - Unifi - Speedtest - Telegraf - Varken Puis-je utiliser la même commande pour les 4 ? Citation Chez moi cela a été le cas mais j'avais configurer la nouvelle politique pour être par défaut. Sachant aussi que j'ai dû modifier à la main chacune de mes requêtes dans chacun de mes panels. DOnc si tu en as beaucoup, il y a du taf ! que veux tu dire par panels ? Modifié le 11 juillet 2021 par Dimebag Darrell 0 Citer
oracle7 Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 @Dimebag Darrell Bonjour, De ce que j'en ai compris ( @.Shad. me reprendra si besoin) : Shard = Unité de stockage des données --> càd sur la durée de rétention, les données sont groupées par parquets "shards" de X jours (d) ou X heures (h), etc... voir la doc ici selon la durée de rétention choisie. Replication = il me semble que ce paramètre parle de lui même. J'ai cru comprendre du coup que les données étaient dupliquées (repliquées) X fois avec X = 1 par défaut. il y a 6 minutes, Dimebag Darrell a dit : Puis-je utiliser la même commande pour les 4 ? Presque, car il te faut la lancer pour chaque DB dont tu veux modifier la rétention. > CREATE RETENTION POLICY "Retention" ON "nom_DB_a_Traiter" DURATION 4w REPLICATION 1 DEFAULT Cordialement oracle7😉 1 Citer
Dimebag Darrell Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 (modifié) Je viens de recréer chaque container (suite à la création de mes nouvelles polices de rétention dans influxdb) Unifipoller Telegraf Speedtest Varken InfluxDB Je viens de remarquer dans grafana que mon historique de donnée avait disparu Néanmoins, aucun cleanup des data n'est effectué(j'ai tjs autant de donnée dans mes répertoires influxdb) (9 Go de data) Modifié le 11 juillet 2021 par Dimebag Darrell 0 Citer
oracle7 Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 @Dimebag Darrell Bonjour, Initialement c'est ce que j'avais fait mais @.Shad. a fort bien expliqué (voir plus haut) que ce n'était pas forcément utile car cela dépend de la politique précédente s'il elle était par défaut ou non. Cordialement oracle7😉 1 Citer
Dimebag Darrell Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 il y a 1 minute, oracle7 a dit : @Dimebag Darrell Bonjour, Initialement c'est ce que j'avais fait mais @.Shad. a fort bien expliqué (voir plus haut) que ce n'était pas forcément utile car cela dépend de la politique précédente s'il elle était par défaut ou non. Cordialement oracle7😉 Quand j'ai créé mes DB, je n'ai mis aucune politique de rétention. 0 Citer
oracle7 Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 @Dimebag Darrell Bonjour, Donc tu avais la politique par défaut soit : "autogen". Cordialement oracle7😉 0 Citer
Dimebag Darrell Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 Oui, tout à fait. Je viens de remarquer l'apparition d'un nouveau répertoire qui s'appelle Retention. je viens de faire ça sur toutes mes DB, comme ça, je repars from scratch avec une police de rétention d'un mois. DELETE WHERE time < '2021-07-11' 0 Citer
oracle7 Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 @Dimebag Darrell Bonjour, il y a 34 minutes, Dimebag Darrell a dit : Je viens de remarquer l'apparition d'un nouveau répertoire qui s'appelle Retention. Que tu voies une nouvelle rétention avec la commande "show retention policies" : OK mais un nouveau répertoire ? Tu es sûr de ton coup là ? Nouveau répertoire, où cela ? Sous /volume1 ? Cordialement oracle7😉 0 Citer
.Shad. Posté(e) le 11 juillet 2021 Auteur Posté(e) le 11 juillet 2021 @CoolRaoul Je t'avoue que je n'utilise quasiment jamais cette commande, mais effectivement ça a l'air limité. Je me demande bien pourquoi. 😕 @Dimebag Darrell @oracle7 A vérifier mais je pense que les données sont écrasées uniquement si on remplace la politique de rétention par défaut par une autre. 1 Citer
oracle7 Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 @.Shad. Bonjour, Je confirme c'est ce qui s'est passé chez moi. Cordialement oracle7😉 0 Citer
Dimebag Darrell Posté(e) le 11 juillet 2021 Posté(e) le 11 juillet 2021 (modifié) Oui, j'ai un nouveau répertoire dans volume1/docker/influxdb/data/data/speedtest là se trouve Retention, dans la même racine qu'autgen Pour info, après 24h, je remarque que la taille du volume Retention augmente, et autogen n'a pas pris un octet... Modifié le 12 juillet 2021 par Dimebag Darrell 0 Citer
oracle7 Posté(e) le 12 juillet 2021 Posté(e) le 12 juillet 2021 @Dimebag Darrell Bonjour, Il y a 10 heures, Dimebag Darrell a dit : Oui, j'ai un nouveau répertoire dans volume1/docker/influxdb/data/data/speedtest Oui, OK c'est normal (sur le coup je ne t'avais pas compris 🥴), il faut bien que les données soient stockées quelque part. Comme "autogen" n'est plus utilisée au profit de "retention", c'est aussi normal que sa taille n'évolue pas/plus. Cordialement oracle7😉 1 Citer
Dimebag Darrell Posté(e) le 12 juillet 2021 Posté(e) le 12 juillet 2021 il y a 2 minutes, oracle7 a dit : @Dimebag Darrell Bonjour, Oui, OK c'est normal (sur le coup je ne t'avais pas compris 🥴), il faut bien que les données soient stockées quelque part. Comme "autogen" n'est plus utilisée au profit de "retention", c'est aussi normal que sa taille n'évolue pas/plus. Cordialement oracle7😉 Bonjour @oracle7 Je voulais simplement donner un petit compte rendu sur les changements. Apparement, tout semble fonctionner correctement. Je pense que c'est une étape à documenter dans le tuto. Dans mon cas en l'espace de 3 mois, c'est 9Go qui ont été consommés 0 Citer
.Shad. Posté(e) le 12 juillet 2021 Auteur Posté(e) le 12 juillet 2021 Oui c'est un ajout que je ferai, je n'ai que récemment joué avec les politiques de rétention (depuis que j'ai rencontré des problèmes de consommation mémoire d'InfluxDB). 1 Citer
oracle7 Posté(e) le 12 juillet 2021 Posté(e) le 12 juillet 2021 (modifié) @.Shad. Bonjour, Je ne voudrais pas faire le "rabat joie" mais après avoir mis en place une rétention de 15J depuis que l'on en parle, je n'ai pas malheureusement constaté à ce jour de réduction notable de l'emprise mémoire de influxdb. Tout au plus une dizaine de Mo. Maintenant je n'ai qu'une dizaine de conteneurs, ceci pouvant expliquer cela. Par contre je constate que le conteneur "calibre" lui est vraiment très gourmand, voir plus qu'influxdb et cela seulement par moments alors même je ne l'utilise pas à ces moments là. Une idée peut-être du pourquoi ? Je soupçonne les mises à jour très fréquentes de celui-ci mais sans être tout à fait certain ... Cordialement oracle7😉 Modifié le 12 juillet 2021 par oracle7 0 Citer
CoolRaoul Posté(e) le 12 juillet 2021 Posté(e) le 12 juillet 2021 Il y a 14 heures, .Shad. a dit : l Je t'avoue que je n'utilise quasiment jamais cette commande, mais effectivement ça a l'air limité. Je me demande bien pourquoi. 😕 Apparemment c'est le même lsof "light" qu'on trouve dans BusyBox 0 Citer
.Shad. Posté(e) le 12 juillet 2021 Auteur Posté(e) le 12 juillet 2021 il y a 19 minutes, oracle7 a dit : Je ne voudrais pas faire le "rabat joie" mais après avoir mis en place une rétention de 15J depuis que l'on en parle, je n'ai pas malheureusement constaté à ce jour de réduction notable de l'emprise mémoire de influxdb. Tout au plus une dizaine de Mo. Maintenant je n'ai qu'une dizaine de conteneurs, ceci pouvant expliquer cela. Ce n'est pas la seule chose que j'ai changé, j'ai passé la plupart des intervalles de 30 à 60 secondes. Au final je suis passé de 1.8 Go de mémoire à environ 1 Go. Je suis aussi passé aussi d'une écriture mémoire à une écriture disque les données (voir le paramètre index-version pour InfluxDB 1.8). Sachant qu'entre temps j'avais stoppé la supervision de pfSense et l'ai remise, sans constater de différence notable (~ 100 Mo). Je pense que c'est l'intervalle d'envoi des données qui est le plus prépondérant dans l'utilisation de la mémoire vive. il y a 24 minutes, oracle7 a dit : Par contre je constate que le conteneur "calibre" lui est vraiment très gourmand, voir plus qu'influxdb et cela seulement par moments alors même je ne l'utilise pas à ces moments là. Une idée peut-être du pourquoi ? Je soupçonne les mises à jour très fréquentes de celui-ci mais sans être tout à fait certain ... Je n'utilise que Calibre-web, Calibre est installé sur mon PC et je passe par lui quand j'ai besoin d'ajouter des ebooks à ma bibliothèque. Donc je ne pourrai pas t'aider. 0 Citer
oracle7 Posté(e) le 12 juillet 2021 Posté(e) le 12 juillet 2021 @.Shad. Bonjour, Pour Calibre par de soucis, de toutes façon j'avais créé le conteneur pour voir, comme toi j'utilise Calibre sur PC c'est bien plus souple. Enfin, je trouve ... Pour ce qui est du paramètre d'écriture sur disque, j'ai retrouvé ton propos : Citation Et j'ai aussi découvert qu'il y a un réglage qu'on peut faire pour réduire la consommation mémoire d'InfluxDB (1.X, ça marche peut-être sur la v2 aussi je ne sais pas). Il faut changer le type d'indexation, il suffit d'ajouter une ligne dans influxdb.conf dans le conteneur : docker exec -it influxdb bash echo ' index-version = "tsi1"' >> /etc/influxdb/influxdb.conf On quitte le shell du conteneur et on le redémarre. Pour ma part j'ai gagné presque 800 Mo de la sorte. J'aurai juste une question : il faut réécrire la ligne dans le fichier "influxdb.conf" après chaque récréation du conteneur (j'ai bon ?) : du coup à ta connaissance, on ne pourrait pas mettre cela en variable d'environnement ou autre dans le docker-compose pour éviter à chaque fois cette manipulation d'ajout au influxdb.conf ? Cordialement oracle7😉 0 Citer
MilesTEG1 Posté(e) le 12 juillet 2021 Posté(e) le 12 juillet 2021 il y a 56 minutes, .Shad. a dit : Je n'utilise que Calibre-web, Calibre est installé sur mon PC et je passe par lui quand j'ai besoin d'ajouter des ebooks à ma bibliothèque. Donc je ne pourrai pas t'aider. C’est un peu HD mais je suis preneur d’infos complémentaires concernant ce type d’utilisation de Calibre 😇 J’utilise pas mal Calibre sur mes ordinateurs mais son dossier de données est un dossier mis dans Drive Server comme ça les données sont synchronisées entre les différents ordinateurs. Mais je n’ai pas d’accès via un navigateur, ce que j’aimerais avoir pour juste voir quand j’ai pas mes ordis les ebooks que j’ai afin de vérifier si je dois acheter une promotion ou pas (j’ai trop de ebooks pour le souvenir précisément de tout ce que je possède déjà 🤪) comment fonctionne calibre web avec les applications desktop ? 0 Citer
oracle7 Posté(e) le 12 juillet 2021 Posté(e) le 12 juillet 2021 (modifié) @MilesTEG1 Bonjour, Tu as ici un TUTO pour calibre-web sous docker qui correspond tout à fait à ton besoin. Via un navigateur tu te connectes à Calibre-web et tu as accès pour consultation à ta BD d'ebooks situées sur le NAS. Le plus souple à mon humble avis est d'alimenter et mettre à jour la BD avec Calibre sur un PC. Cordialement oracle7😉 Modifié le 12 juillet 2021 par oracle7 0 Citer
Messages recommandés
Rejoindre la conversation
Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.