bruno78

@.Shad., oui effectivement il faut employer le --aux-address. J'avoue qu' attribuant mes adresses IP de façon explicite via le docker-compose.yaml, je n'ai a priori pas ce genre de surprise. Je n'ai pas d'attribution automatique et incontrôlée d'adresse IP. L'adresse IP et l'adresse MAC de mes conteneurs sont inscrits dans le docker-compose. Bruno78

Bonjour @Didier3L, à propos de macvlan : supprimer des réseaux : il faut donner le nom (NAME) du réseau que tu veux supprimer, pas son Id (NETWORK ID) par exemple : # docker network rm mymacvlanconfig il faut définir la bonne plage d'adresse pour ton réseau macvlan ici tu donnes 192.168.1.60/24 : c'est incohérent. mettons que tu aies besoin de 3 ou 4 adresses sur ton macvlan, alors tu vas définir en réseau en /29 : 8 adresses IP, dont celle du réseau et celle de broadcast. Donc 6 adresses IP unicast utilisables. Cette plage d'adresses doit être en dehors de ta plage DHCP pour éviter les adresses dupliquées sur le réseau Par exemple, tu peux les placer en fin de plage réseau : réseau macvlan : 192.168.1.240/29 ca veut dire : adresse réseau : 192.168.1.240 adresses IPv4 unicast utilisables pour les dockers : 192.168.1.241 à 192.168.1.246 adresse de braodcast sur ton réseau macvlan : 192.168.1.247 tu pourras donc allouer aux dockers que tu configures sur ce macvlan les adresses de 192.168.1.241 à 192.168.1.246 enfin il faut permettre au réseau macvlan de communiquer avec le reste de ton environnement : il faut donc rajouter une interface logique sur le NAS et ajouter le routage associé. Le faire patr un script qui sera lancé automatiquement au demarrage du NAS. par exemple dans ce cas : (mon script adapté à ton réseau et adresses ci-dessus. A corriger en fonction de chaque environement). Attention, on consomme une premiere adresse pour cette interface (192.168.1.241) #!/bin/sh # Created on October 17, 2019, by Bruno78 # http://tonylawrence.com/posts/unix/synology/free-your-synology-ports/ # # mis à jour 24 janvier 2020 # definition d'un subnet complet /29 pour pouvoir rattacher plusieurs container docker # # creation non persistante # a relancer a chaque demarrage du NAS #Set timeout to wait host network is up and running sleep 60 #Host macvlan bridge recreate ip link add bridgemacvlan link ovs_eth0 type macvlan mode bridge ip addr add 192.168.1.241/32 dev bridgemacvlan # address MAC. cf https://www.cyberciti.biz/faq/linux-ip-command-examples-usage-syntax # il faut que le premier octet soit PAIR # cela permet d'avoir a chaque redemarrage la meme addr MAC, sinon elle change ip link set dev bridgemacvlan address 0:1:2:3:4:5 ip link set bridgemacvlan up # ip route add 192.168.1.240/29 dev bridgemacvlan Voilà 🙂 J'espère ne pas avoir été trop confus dans ces explications. Ceci dit, j'ai mis un petit moment avant de le faire fonctionner et de regrouper toutes les données et informations nécessaires. Donc si ça peut servir . Si problème, n'hésites pas à nous faire part de tes avancées. Pour info, moi je l'ai mis en place pour un docker PiHole pour lequel j'avais besoin de conserver les ports standards, tout en ayant le paquet Syno DNS également actif. Bruno78

Bonjour @.Shad. je n'ai pas eu trop le temps d'avancer ces derniers jours. En fait je reprends le codage du Python, car il ne me semble pas optimisé pour les interrogations grafana un peu "poussées" (tableaux, etc ....). Et de temps en temps, j'ai la Fbox qui ne répond pas, sans que je ne sache trop pourquoi .... Mais oui dés que ce sera possible je partagerai , no problème.

Bonjour Brennac, comment ce fait'il que tu en ais autant ?? Quelle est la durée d'expiration des entrées dans ta base ? J'ai une durée typique de rétention de 2 heures, le script lui tourne toute les heures, et j'ai entre 25000 et 32000 addresses dans la liste en permanence. Stable. Sinon, oui, il y a surement moyen d'aller taper directement dans la base sqlite3 ..... mais faut être prudent et je ne maitrise pas suffisemment pour te dire comment :-(. Bruno78

Voila où j'en suis ....

Hello, non, l'instance telegraf (docker) est localisée sur le NAS, qui construit et envoie des requêtes http(s) [via le fameux script Python] vers la Freebox et récupère les données en retour. Je n'ai pas les messages d'erreur sous la main (je suis au taff), mais je vais les poster. Dans le fichier telegraf.conf, il semble qu'il y ai des moyens d'indiquer la presence de certificats. Faut que je creuse. Aujourd'hui ces requêtes sont en http. Mais Free précise que "un jour ...." le http sera arrêté au profit exclusif du https. Mais on a peut-être le temps de voir venir ? De même que le dernier API documenté par Free (https://dev.freebox.fr/sdk/os/) est une version 4.0 (et encore, Free précise que de nombreuses sections sont [INSTABLE]), et lorsque l'on interroge la Freebox sur sa version API (http://mafreebox.free.fr/api_version), celle-ci répond fièrement API_VERSION = "6.0" (pour une Freebox Revolution) Bref, c'est de la navigation à vue, dans un épais brouillard .... Du coup on arrive à faire des choses, mais c'est du tâtonnement, sans grande pérennité je le crains. Je suis quand même arrivé à construire un tableau de bord correct, mais outre ce https (peut-être pas si urgent), il me reste un aspect que je voudrais réussir à coder (en Python donc), c'est de sortir une liste dynamique des équipements connectés, wifi ou LAN, à un instant donné.

Hello, un dernier point à voir, peut-être pas le plus simple : le passage en https. Sur le site de Free (https://dev.freebox.fr/sdk/os/#) il est dit Freebox Root CA -----BEGIN CERTIFICATE----- MIIFmjCCA4KgAwIBAgIJAKLyz15lYOrYMA0GCSqGSIb3DQEBCwUAMFoxCzAJBgNV BAYTAkZSMQ8wDQYDVQQIDAZGcmFuY2UxDjAMBgNVBAcMBVBhcmlzMRAwDgYDVQQK ... d5jENIZChM8TnDXJzqc+mu00cI3icn9bV9flYCXLTIsprB21wVSMh0XeBGylKxeB S27oDfFq04XSox7JM9HdTt2hLK96x1T7FpFrBTnALzb7vHv9MhXqAT90fPR/8A== -----END CERTIFICATE----- Bon, la question est simple (!) : comment on "validate the certificate chain, by using the following Root CA certificates ???" Là, je ne sais pas faire ... Merci de votre aide. Bruno78

et voilà ! toutes les infos remontent, ayant modifié l'appel au script Python, avec tous les arguments. Il me reste à voir la question du https . Bruno78 PS : une fois tout au point, je ferai un récapitulatif global pour telegraf / Freebox

Bonjour, oui effectivement tous les dockers sont bien dans le même réseau. et entre temps, j'ai fais un peu de lecture, ... de temps en temps on n'y échappe pas ! J'ai parcouru la doc influxdb, et je pense que pour Grafana même punition .... du coup, la solution est maintenant : 2 dockers telegraf, qui alimentent un seul docker influxdb, puis visualisation vers un seul Grafana sur le docker influxdb, j'ai bien créé 2 users, .... mais une seule db. avec 2 db, 1 pour chaque telegraf, ça marche beaucoup mieux 🙂 j'ai donc bien à présent des stats qui remontent de ma Freebox. Simplement, je ne retrouve pas sous Grafana toutes les stats Freebox que je m'attends à recevoir (j'ai le in/out, mais par exemple je ne trouve pas les stats des ports du switch ...). Il faut que je retravaille le script Python qui va chercher les données sur la Fbox, car maintenant le problème est clairement là. La Fbx est passée en API 4.0, et ne va pas tarder à forcer le passage en https. Il va donc y avoir un certificat à intégrer. Bref encore du boulot, mais de grands progrès déjà réalisés. Merci

Hello, oui exact . DNS1 et DNS2 en variables d'environnement. C'est OK ! ca passe ! PB résolu, merci Bruno78

Bon, finalement, en insérant bien data_format=influx en corrigeant encore quelques problèmes d'indentation dans le fichier python et le test de l'argument , cela semble passer. => telegraf envoie bien des données à influxdb Ensuite, je voulais n'avoir qu'un seul influxdb réunissant les données de la Freebox et celles du NAS => pas réussi. Du coup, 1 groupe (telegraf + influxdb) pour la Freebox, et 1 groupe (telegraf+influxdb) pour le NAS. Le tout remontant vers une seule instance de Grafana .....ça commence à faire cher en ressources ! La joie n'a été que de courte durée : j'ai l'impression que la base Freebox influxdb est vide, ou ne se remplit pas ..... du coup rien ne remonte vers Grafana (qui portant voit bien cette instance Freebox d'influxdb) Je continue .....

oui c'est possible, je vais (re)-vérifier ...

Bonjour @.Shad., merci d'avoir passé un peu de temps sur ce problème. J'ai aussi commencé par suivre strictement le tuto, et j'ai commencé par indiquer data_format = influx. D'ailleurs ce n'est pas clair en lisant les docs si on doit mettre influx ou influxdb. Ceci dit, cela n'a fonctionné avec aucunes de ces 2 valeurs. Donc j'ai provisoirement supprimé cette variable, et imposé "en dur" dans le script python de prendre le format influxdb Mais maintenant que j'y pense ..... c'est peut-être une erreur.. Je vais reprendre cela avec data_format = influxdb. En parallèle, je suis en train de tester une autre solution, à savoir faire tourner telegraf (sans docker) dans une VM mini ubuntu. Dés que je trouve une solution, je la poste .... Bruno78

Bonjour, un grand merci à @.Shad. pour ce tuto remarquablement précis et documenté. Je l'ai implémenté sans problème, à part mes propres erreurs .... . Ensuite, faut un peu naviguer pour maitriser Grafana .... mais au final on y arrive, même si on n'a pas les compteurs voulus du premier coup ! Ma question est ailleurs : emporté par l'élan, j'ai voulu implémenter le monitoring de ma Freebox Révolution. A priori cela doit être possible ? Et là je sèche !!! Je me concentre donc sur le docker "telegraf", qui collecte les données, puisque c'est lui qui me pose problème installation du docker 'telegraf' configuration supplémentaire à la main du docker 'telegraf' pour y inclure python, python3 en l’occurrence : mise à jour de la distribution root@dev_telegraf:/# apt update root@dev_telegraf:/# apt install software-properties-common installation du module 'pip' telecharger get-pip.py (https://bootstrap.pypa.io/get-pip.py) root@dev_telegraf:/usr/local/py# python3 get-pip.py --prefix=/usr/local installation du module python 'requests' root@dev_telegraf:/usr/local/py# python3 -m pip install requests à partir de là, on peut suivre le tuto de @.Shad. configuration du fichier telegraf.conf Résultat : les fichiers que l'on trouve sur GitHub sont relativement anciens. Je ne sais pas sur quelle version de Python ils tournaient. J'ai donc dû faire quelques modifications dans le fichier de commande freebox.py appelé par telegraf.conf. De même, quelques modifications dans la partie ajoutée spécifique à la Freebox dans telegraf.conf. Et l'API en cours sur le Freebox Révolution est maintenant en version 4, et non plus 3, ... au final, après ces modifications : association avec la Freebox OK toutes les commandes (via le script python lancé dans le docker telegraf) vers la Freebox sont OK et retournent les statistiques demandées par exemple : root@dev_telegraf:/usr/local/py# python3 freebox.046.py -f influxdb -S freebox,endpoint=mafreebox.freebox.fr bytes_down=78632745319 freebox,endpoint=mafreebox.freebox.fr switch_2_link=1 freebox,endpoint=mafreebox.freebox.fr switch_4_mode=3 freebox,endpoint=mafreebox.freebox.fr switch_1_link=0 freebox,endpoint=mafreebox.freebox.fr bytes_up=8388886152 freebox,endpoint=mafreebox.freebox.fr switch_4_link=1 freebox,endpoint=mafreebox.freebox.fr state=1 freebox,endpoint=mafreebox.freebox.fr rate_down=593 freebox,endpoint=mafreebox.freebox.fr rate_up=282 freebox,endpoint=mafreebox.freebox.fr switch_1_mode=1 freebox,endpoint=mafreebox.freebox.fr bandwidth_down=1000000000 freebox,endpoint=mafreebox.freebox.fr bandwidth_up=600000000 freebox,endpoint=mafreebox.freebox.fr switch_3_link=0 freebox,endpoint=mafreebox.freebox.fr switch_2_mode=3 freebox,endpoint=mafreebox.freebox.fr switch_3_mode=1 par contre, lorsque le script est lancé depuis le fichier de commande telegraf.conf: # Read metrics from one or more commands that can output to stdout [[inputs.exec]] ## Commands array commands = [ "python3 /usr/local/py/freebox_046.py -f influxdb" ] j’obtiens invariablement des erreurs du type : [inputs.exec] Error in plugin: invalid character '>' looking for beginning of value [inputs.exec] Error in plugin: invalid character '*' looking for beginning of value .... Je suis coincé à cette étape. Je ne sais pas comment investiguer, ni où, n'étant pas et de loin expert en python .... Je ne sais pas ce que sont ces caractères '*' ou '>' ni ce beginning of value .... Je suis donc à la recherche que quelqu'un ayant réussi à prendre sa Freebox Revolution en monitoring via telegraf ..... Ou d'un expert qui me dira tout de suite : "bon sang mais c'est bien sûr ....." et ce sera évident pour lui ..... 🙂 Je ne sais même pas quelles traces ou fichiers peuvent vous être utiles .... donc merci si vous avez des idées, je tiens les infos à disposition .... Bruno

Bonjour @Dimebag Darrell désolé réponse un peu tardive, mais je recommence à regarder le fonctionnement de mon Pihole. Pour situer le contexte, je suis en PiHole sous Docker, utilisant le docker-compose, et en réseau macvlan. Pour les logs je ne sais pas, mais pour les répertoires j'ai monté les dossiers suivants dans mon fichier docker-compose.yaml : Cela permet de récupérer presque toute la config en cas de redémarrage et/ou re-installation. Je dis "presque" parce qu'il me reste un soucis non résolu : je n'arrive pas, suite à une réinstallation, à lui faire prendre en compte des DNS personnalisés ! je me retrouve systématiquement avec les DNS Google, et non pas les FDN comme souhaité. Il faut que je le fasse à la main. Suite à ré-installation : Puis modification à la main: A part cela, tous les autres paramètres (listes , .... ) sont bien récupérés automatiquement Cdt Bruno78

je viens de refaire le même test ftp mais en filaire 1 Gbps cette fois avec 3 switches intermédiaires : 960 Mbps PC vers NAS, 700 Mbps NAS vers PC. Pour vérifier que tu n'as pas de problème de fonds, il faudrait pouvoir s'affranchir : 1) de la LB, 2) du Wifi.

La je viens de faire un test "à l'arrache" entre mon DS918+ (eth0 1Gbps) et un laptop "très moyen" en Wifi AC 5Ghz (link speed wifi à 585Mbps) à 5 mètres de la borne, j'obtiens en gros un débit montant ou descendant de l'ordre de 300 Mbps pour un fichier de 1.2 GBytes. Pas si mal copte tenu du link speed Wifi. Test en FTP avec Filezilla client sur le PC.

Pour autant que je puisse voir, Lan SpeedTest fonctionne soit en mode "shared folder", soit en mode advanced, c'est à dire client/serveur. Je suppose que tu utilises le mode "shared folder" ? as-tu la possibilité de faire un essai en FTP ?

Bonjour @radeise oui, dit comme cela, cela parait faible. Je procéderai par elimination si possible vérifier que l'interface Eth du NAS est bien à 1gbps. test en direct, le NAS le la MAC en filaire 1Gbps sur un switch giga ethernet autre que la LB. test via la LiveBox, en filaire 1Gbps (MAC et NAS) test dans ta configuration cible. Pour le plantage de la LB, ..... je ne suis pas chez le même fournisseur ..... je ne sais pas. Est'elle à jour ? Bruno

Hello, bon alors je suis un peu têtu. J'ai cherché à savoir pourquoi la commande sort -ufo $tmp1 $tmp2 $tmp1 ne fonctionnait plus comme escompté dans ce script. Après de nombreuses tentatives et vérifications, je me suis aperçu que dans le fichier issu de cette commande sort -ufo $tmp1 $tmp2 $tmp1, les doublons toujours existants étaient de la forme : 94.191.68.83 94.191.68.83^M Je ne sais pas d'où cela vient car au départ, les 2 listes ne semblent pas contenir ce caractères parasites ... Donc, partant du constat qu'il n'y a aucune raison dans nos listes d'adresses de trouver des caractères autres qu'alphanumériques, j'ai rajouté l'option -d (-d, --dictionary-order consider only blanks and alphanumeric characters) à la commande sort. Au final, la commande devient donc : sort -ufdo $tmp1 $tmp2 $tmp1 Et il n'y a plus d'erreur d’exécution du script. Cela semble fonctionner nominalement. 🙂 Ci joint le fichier mis à jour. Bruno PS : n'étant pas expert malgré tout (juste têtu), si @PPJP ou quelqu'un d'autre plus expérimenté que moi pouvait faire une petite vérification du bon fonctionnement .... que je ne sois pas passé à côté de quelque chose d'autre .... Merci autoblocksynology.sh

Super, Merci @PPJP je pensais que ce n'étaient que des "warning", précisemment à cause des doublons. Je n'avais pas bien vu que le script était censé éliminer ces doublons avant ... Merci pour le nouveau script. Je vais le mettre en place rapidement .... peut-être après Noel quand même 🙂 J'en profite pour souhaiter des Joyeuses Fêtes de Noël et de fin d'Année à l'ensemble des membres de ce forum. Bruno

Rebonjour, (je me réponds partiellement) tout en guettant le forum, j'ai continué à chercher pourquoi ces messages d'erreur. Pour finalement m’apercevoir qu'ils étaient tout à fait "normaux". Je m'explique : j'utilise, comme dans le script, les 2 listes : https://lists.blocklist.de/lists/ et https://mariushosting.com/wp-content/uploads/2018/07/deny-ip-list.txt et donc il y a recombinaison de ces 2 listes en une seule, tout en interdisant les doublons ! (l'adresse IP est clé primaire dans la table sql, donc unique) en combinant les 2 listes à la main (enfin .xlsx), je m’aperçois que les erreurs remontées correspondent bien aux doublons résultant de la fusion des 2 listes. Donc OK Question subsidiaire pour être sûr de bien comprendre : A quoi exactement ce blocage d'adresses IP s'applique t'il ? A quelles applications ? Quel est sa valeur ajoutée par rapport au Pare-Feu ? Merci Bruno

Bonjour, un grand merci aux auteurs de ce script, que je viens de mettre en place. Une fois réglé le problème des saut de lignes dans le fichier, lancement du script, et hop un peu plus de 34000 ip listées dans les bloquées. J'ai néanmoins 1 problème dont je n'ai pas encore trouvé la source : Lors de l’exécution du script suivante, j'ai les messages d'erreur suivants : Le planificateur de tâches à terminé une tâche planifiée. Tâche : BlackList Internet Heure de début : Sun, 22 Dec 2019 12:55:02 GMT Heure d’arrêt : Sun, 22 Dec 2019 12:55:06 GMT État actuel : 0 (Normal) Sortie standard/erreur : Demarrage du script autoblocksynology.sh v0.0.2: Sun Dec 22 12:55:03 CET 2019 /tmp/autoblock_synology/fichiertemp1:21: INSERT failed: UNIQUE constraint failed: Tmp.IP /tmp/autoblock_synology/fichiertemp1:54: INSERT failed: UNIQUE constraint failed: Tmp.IP /tmp/autoblock_synology/fichiertemp1:58: INSERT failed: UNIQUE constraint failed: Tmp.IP /tmp/autoblock_synology/fichiertemp1:94: INSERT failed: UNIQUE constraint failed: Tmp.IP /tmp/autoblock_synology/fichiertemp1:96: INSERT failed: UNIQUE constraint failed: Tmp.IP ..... /tmp/autoblock_synology/fichiertemp1:34358: INSERT failed: UNIQUE constraint failed: Tmp.IP /tmp/autoblock_synology/fichiertemp1:34675: INSERT failed: UNIQUE constraint failed: Tmp.IP /tmp/autoblock_synology/fichiertemp1:34782: INSERT failed: UNIQUE constraint failed: Tmp.IP /tmp/autoblock_synology/fichiertemp1:34791: INSERT failed: UNIQUE constraint failed: Tmp.IP Script terminé Sincères salutations, Synology DiskStation Si vous avez des idées ou des pistes, .... Merci Bruno

Bonjour @Fabweb, de mon côté j'utilise Outlook (Office 365) et reçois les notifications avec les bons caractères accentués en français. Côté DSM, idem, les options régionales sont positionnées en français. Côté Outlook, dans l'onglet Option > Langues, j'ai la config suivante : Ce qui m'amène à la question suivante : es-tu bien installé sur un Windows en Français ? A part ces vérifications, je ne vois pas trop. Avec ces réglages, voici le mail (dans Outlook) que j'ai reçu pas plus tard que ce matin : j'ai bien les accents .... A part les mails en provenance du Syno, reçois-tu des mails textes sur Outlook sans problème d'accentuation ? Bruno Question subsidiaire : as-tu la possibilité de faire le test avec un autre client mail que Outlook ?

Bonjour et bon dimanche, comme je suis un peu têtu, j'ai continué avec mes tests "badblocks". Je voudrais essayer de comprendre. D'autant que le sujet "préparation des disques" en général est important compte tenu de l'usage d'un NAS, et de la confiance que l'on doit pouvoir avoir si on tient à ses données (ce qui ne dispense pas bien sûr d'organiser les sauvegardes externes). J'ai refais le test avec un disque qui me sert de validation et pour des tests justement, donc non représentatif de ce que l'on mettrait a priori en production, et disque qui ne sert pas pour des données prod. Résultats : sans "-c" (par defaut, 16 blocks) : 40 heures 53 minutes, 0/0/0 errors avec "-c 98304" : 7 heures 30 minutes , 0/0/4 errors D'où les interrogations : quelle est la méthode la plus pertinente ? pourquoi cette différence ? quelle pourrait être l’influence de la taille du cache disque sur la valeur du "-c" à adopter ? Résultats bruts : Disque en test : Hitachi Disque Dur 500Go SATA 2.5" Travelstar 7K500 HTS725050A9A364 Pc Portable 16Mo Test sans le paramètre "-c" : badblocks -nvsf /dev/sda > /volume1/tmp/sda-20191026.log 2>&1 & /dev/sda is apparently in use by the system; badblocks forced anyway. Checking for bad blocks in non-destructive read-write mode From block 0 to 488386583 Checking for bad blocks (non-destructive read-write test) Testing with random pattern: 0.00% done, 0:00 elapsed. (0/0/0 errors) 0.00% done, 0:01 elapsed. (0/0/0 errors) <...> <...> 100.00% done, 40:53:49 elapsed. (0/0/0 errors) 100.00% done, 40:53:50 elapsed. (0/0/0 errors) 100.00% done, 40:53:51 elapsed. (0/0/0 errors)done Pass completed, 0 bad blocks found. (0/0/0 errors) Test avec le paramètre "-c" : badblocks -nvsf -c 98304 /dev/sda > /volume1/tmp/sda-20191026.log 2>&1 & /dev/sda is apparently in use by the system; badblocks forced anyway. Checking for bad blocks in non-destructive read-write mode From block 0 to 488386583 Checking for bad blocks (non-destructive read-write test) Testing with random pattern: 0.00% done, 0:01 elapsed. (0/0/0 errors) 0.00% done, 0:03 elapsed. (0/0/0 errors) <...> 0.50% done, 1:54 elapsed. (0/0/0 errors) 2491200 2491201 2491202 2491203 0.50% done, 1:56 elapsed. (0/0/4 errors) 0.52% done, 1:58 elapsed. (0/0/4 errors) <....> 99.98% done, 7:30:06 elapsed. (0/0/4 errors) 99.98% done, 7:30:08 elapsed. (0/0/4 errors) 100.00% done, 7:30:09 elapsed. (0/0/4 errors)done Pass completed, 4 bad blocks found. (0/0/4 errors) Et pendant ce temps là, mon "badblocks" sans le paramètre "-c" sur mon disque WD 6To continue son petit bonhomme de chemin : on est parti pour 6 à 8 jours .... . Je le laisse tourner tranquillement. 0/0/0 errors pour le moment à 25% done.