[TUTO] Automatiser Blacklist depuis internet

[JrTt]

Bonjour,

Merci a l'auteur et aux contributeur de ce tuto.

je l'ai mis en place sur mon routeur, le script fonctionne si je le lance en SSh , mais l’exécution automatique ne fonctionne pas.

Pourtant, J'ai rééditer mon fichier crontab et tout semble ok

Savez vous ou on peut trouver les logs de ce fichier ?

Merci

[Dimebag Darrell]

Au lieu de le faire au niveau du Syno, j'aimerai déployer cette liste sur mon USG Unifi,

Quelqu'un l'aurait-il deja effectuer ?

Merci

[unPixel]

Tu devrais trouver ton bonheur sur un forum dédié à cette marque je pense 😉

Tu as celui là par exemple :

https://forum.hardware.fr/hfr/reseauxpersosoho/Reseaux/ubnt-ubiquiti-networks-sujet_28735_1.htm

[maxou56]

Bonjour,

Merci @Superthx pour le Tuto.

Le 19/09/2019 à 14:46, JrTt a dit :

je l'ai mis en place sur mon routeur, le script fonctionne si je le lance en SSh , mais l’exécution automatique ne fonctionne pas.

Pourtant, J'ai rééditer mon fichier crontab et tout semble ok

En suivant le Tuto pour moi cela fonctionne bien sur SRM (RT2600AC).

[JrTt]

Le 21/09/2019 à 16:03, maxou56 a dit :

En suivant le Tuto pour moi cela fonctionne bien sur SRM (RT2600AC).

Cela fonctionne aussi une fois par jour,

[Mic13710]

@PPJP, bonjour et merci pour le nouveau script.

Je fais juste remonter un petit problème de longueur de texte qui est limité à 8192 caractères dans la planificateur. En supprimant les # inutiles, ça passe.

[Fredje_B]

Merci PPJP et Superthx pour ce merveilleux travail! Je viens de faire tourner le script sur mon NAS, la premiere fois en ssh et ensuite via le planificateur de tâches. 

1er run, résultat :

 

Error: no such table: Tmp

IP dans table Tmp:

 

Demarrage du script ./blacklisttest.sh version v0.5.1:  Wed Oct 23 20:36:54 CEST 2019

Script implanté dans NAS

Horodatage du blocage des IP: 1571855814

29223 IP téléchargées depuis le site lists.blocklist.de

9774 IP téléchargées depuis le site mariushosting.com

Traitement d'une liste de 38472 adresses IP

deblocage_ip

maj_ip_connues

maj_ip_connues_p1

maj_ip_connues_p2

insertion_nouvelles_ip

data pour nouvelles IP

import_nouvelles_ip

insertion_nouvelles_ip_nas

Le blocage de 0 IP a été prolongé

38472 nouvelles IP ont été ajoutées

La liste de blocage mise à jour va bloquer 38472 IP

Fin du script exécuté en 409 secondes

 

Exécution en 10s ensuite via le planificateur de tâches, les dates ont bien été mises à jour et toujours le même nombre d'IP.

Je n'ai par contre pas de retour via le planificateur de tâches...j'ai bien un fichier aniop.txt dans le répertoire où est installé le script mais seul une phrase comme quoi le script à été lancé est indiquée.

J'ai demandé à ce que le résultat soit envoyé par email mais je n'en ai reçu aucun.

Je vais garder à l'oeil le résultat dans la liste des sites bloqués plutôt que de me baser sur un mail.

Merci encore une fois!

[Fredje_B]

@PPJP : J'avoue que j'ai été un peu perdu au fil des threads entre le dernier script qui semblait fonctionner uniquement sur le NAS et cette version hybride qui cherche à fonctionner aussi bien sur les NAS que sur les Routeurs Synology. De ce que j'avais compris au sujet du script hybride, c'est que la partie NAS est systématiquement testée par vos soins et ce sont les forumeurs qui testent la partie Routeur. Cette version est pleine de commande écho pour débugger les différentes étapes (ce qui en passant, n'est pas plus mal pour consulter le log) mais de ce que je comprend, les blocages et autres commandes non reconnues ne s'appliquent pas à la partie NAS, elle me semble donc opérationnelle. C'est en tout cas ce que je peux constater chez moi grâce à la création du log (un grand merci au passage, je n'ai pas eu le réflexe du mode commande en ligne pour la création du log dans l'interface et suis un peu gêné maintenant d'avoir demandé cela 😞)

Si ca ne vous dérange pas, je vais suivre les réponses de ce post ainsi que les mises à jour du script...tout en essayant de ne donner que des retours utiles si jamais je constate un problème à l'exécution du script (pour l'instant, encore une fois, cela tourne nickel sur mon NAS).

[bruno78]

Bonjour,

un grand merci aux auteurs de ce script, que je viens de mettre en place.

Une fois réglé le problème des saut de lignes dans le fichier, lancement du script, et hop un peu plus de 34000 ip listées dans les bloquées.

J'ai néanmoins 1 problème dont je n'ai pas encore trouvé la source :

Lors de l’exécution du script suivante, j'ai les messages d'erreur suivants :

Le planificateur de tâches à terminé une tâche planifiée.

 

Tâche : BlackList Internet

Heure de début : Sun, 22 Dec 2019 12:55:02 GMT Heure d’arrêt : Sun, 22 Dec 2019 12:55:06 GMT État actuel : 0 (Normal) Sortie standard/erreur :

 

Demarrage du script autoblocksynology.sh v0.0.2: Sun Dec 22 12:55:03 CET 2019

/tmp/autoblock_synology/fichiertemp1:21: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:54: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:58: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:94: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:96: INSERT failed: UNIQUE constraint failed: Tmp.IP

.....

/tmp/autoblock_synology/fichiertemp1:34358: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:34675: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:34782: INSERT failed: UNIQUE constraint failed: Tmp.IP

/tmp/autoblock_synology/fichiertemp1:34791: INSERT failed: UNIQUE constraint failed: Tmp.IP Script terminé

 

Sincères salutations,

Synology DiskStation

 

Si vous avez des idées ou des pistes, ....

Merci

Bruno

 

 

 

[bruno78]

Rebonjour, (je me réponds partiellement)

tout en guettant le forum, j'ai continué à chercher pourquoi ces messages d'erreur. Pour finalement m’apercevoir qu'ils étaient tout à fait "normaux". Je m'explique :

• j'utilise, comme dans le script, les 2 listes : https://lists.blocklist.de/lists/ et  https://mariushosting.com/wp-content/uploads/2018/07/deny-ip-list.txt
• et donc il y a recombinaison de ces 2 listes en une seule, tout en interdisant les doublons ! (l'adresse IP est clé primaire dans la table sql, donc unique)
• en combinant les 2 listes à la main (enfin .xlsx), je m’aperçois que les erreurs remontées correspondent bien aux doublons résultant de la fusion des 2 listes.
• Donc OK

Question subsidiaire pour être sûr de bien comprendre :

A quoi exactement ce blocage d'adresses IP s'applique t'il ? A quelles applications ? Quel est sa valeur ajoutée par rapport au Pare-Feu ?

Merci

Bruno

[PPJP]

Bonjour,

Des erreurs ne sont jamais "normales"!

Dans le cas présent, ces erreurs (qui n'existaient pas à l'origine) sont dues à la non suppression des IP en doublon.

Cette suppression était faite par les commandes sort -ufo qui ne fonctionnent plus actuellement (pourquoi???)

Je vous joins une version du script, où cette suppression est faite au sein de SQLite en remplacement de shell.

Cette version est légèrement plus lente que la précédente.

 

Modifié le 5 janvier 2020 par PPJP
Suppression du fichier

[bruno78]

Super, Merci @PPJP

je pensais que ce n'étaient que des "warning", précisemment à cause des doublons. Je n'avais pas bien vu que le script était censé éliminer ces doublons avant ...

Merci pour le nouveau script. Je vais le mettre en place rapidement .... peut-être après Noel quand même 🙂

J'en profite pour souhaiter des Joyeuses Fêtes de Noël et de fin d'Année à l'ensemble des membres de ce forum.

Bruno

[bruno78]

Hello,

bon alors je suis un peu têtu. J'ai cherché à savoir pourquoi la commande sort -ufo $tmp1 $tmp2 $tmp1 ne fonctionnait plus comme escompté dans ce script.

Après de nombreuses tentatives et vérifications, je me suis aperçu que dans le fichier issu de cette commande sort -ufo $tmp1 $tmp2 $tmp1, les doublons toujours existants étaient de la forme :

• 94.191.68.83
• 94.191.68.83^M

Je ne sais pas d'où cela vient car au départ, les 2 listes ne semblent pas contenir ce caractères parasites ...

Donc, partant du constat qu'il n'y a aucune raison dans nos listes d'adresses de trouver des caractères autres qu'alphanumériques, j'ai rajouté l'option -d (-d, --dictionary-order  consider only blanks and alphanumeric characters) à la commande sort.

Au final, la commande devient donc : sort -ufdo $tmp1 $tmp2 $tmp1

Et il n'y a plus d'erreur d’exécution du script. Cela semble fonctionner nominalement. 🙂

Ci joint le fichier mis à jour.

Bruno

PS : n'étant pas expert malgré tout (juste têtu), si @PPJP ou quelqu'un d'autre plus expérimenté que moi pouvait faire une petite vérification du bon fonctionnement .... que je ne sois pas passé à côté de quelque chose d'autre .... Merci

autoblocksynology.sh

 

Modifié le 29 décembre 2019 par bruno78
typo

[PPJP]

Bonjour,
Ma réponse est tardive mais je ne passe que très irrégulièrement sur ce forum.
Vous avez parfaitement corrigé ce script, qui est bien fonctionnel, au moins sur DSM.
Les ^M (retour chariot) auraient également pu être supprimés par l'option i.
Il reste juste à vérifier cette correction sur SRM, @Superthx pourrait s'en charger.

Pour le dernier script que j'avais posté, je n'avais pas pris le temps de rechercher l'origine des doublons et préféré les traiter au sein de SQLite.
Je l'avais testé de nombreuses fois sans erreur, je viens de le relancer et il comporte maintenant une (seule) erreur.
Je l'efface donc mon post.

J'en profite pour vous joindre une nouvelle version du script (correction d'erreurs, ajout facultatif d'infos sur le traitement, ...)

Je ne suis pas spécialiste des scripts shell que je n'utilise pas pour mes besoins personnels.
Je ne suis intervenu que sur quelques scripts sur ce forum.
Mais comme je suis, comme vous, têtu (mes origines!), dès que j'aurai un peu de temps libre je rechercherai l'origine de l'apparition des retours chariot intempestifs.

Merci pour votre contribution

autoblocksynology.sh

[Superthx]

Salut ! DSL pour ne pas venir plus tot dans la conversation. Je test cela cette semaine pour SRM.

[Brenac]

bonjour,

 

Question idiote mais comment purger cette liste j'en ai 400K+ d'ip listees 'permanent' ayant mis zero l'effacement. J'aimerais bien repartir sur des bonnes bases, effacer au bout de 30, mais je ne vois pas comment effacer celles existantes, sauf a la mano 300 par 300, je ne suis pas rendu !.

 

Merci de vos avis

 

[bruno78]

Bonjour Brennac,

comment ce fait'il que tu en ais autant ?? Quelle est la durée d'expiration des entrées dans ta base ?

J'ai une durée typique de rétention de 2 heures, le script lui tourne toute les heures, et j'ai entre 25000 et 32000 addresses dans la liste en permanence. Stable.

Sinon, oui, il y a surement moyen d'aller taper directement dans la base sqlite3 ..... mais faut être prudent et je ne maitrise pas suffisemment pour te dire comment :-(.

Bruno78

[PPJP]

Bonjour,
La commande, ci-dessous, en SSH, permet d'effacer la totalité des IP bloquées, mais conserve les IP permises.
sqlite3 /etc/synoautoblock.db "delete from AutoBlockIP where DENY = 1;"

Attention, les IP éventuellement bloquées par le blocage auto suite à des tentatives d'intrusion seront également effacées.

Bonne journée

[Herbs]

Bonsoir messieurs,

Quelqu'un a t il pu tester la dernière version du script sur srm ?

Merci d'avance pour vos réponses.

Cdt.

[PPJP]

Bonjour,

C'est @Superthx qui avait exprimé le besoin et qui devait le tester vers mi Janvier.

Mais il n'y a pas eu de retour.

Il n'y a qu'une très faible probabilité qu'il ne soit pas fonctionnel sous SRM.

Et si cela était, cela n’aurait pas d'autres conséquences que des erreurs de script.

Il n'y a donc pas de risque à l’essayer

Si c'était le cas, il serait bien que vous nous informiez du résultat..

[Superthx]

Bonjour!!! Cela fait longtemps que je cisite pas le forum. Je vais lire les messages que j’ai perdu...

[Herbs]

Bonjour messieurs,

Je vais tester le script cet après-midi.

Je suis en cours de modif dessus car je génère déjà une blocklist à partir de différents sites.

Mon pare-feu étant paramétré pour n’autoriser qu'un nombre limité de pays, ma blocklist est filtrée sur ces mêmes pays.

Je vous tiens au courant sans faute.

Cdt. 

[Herbs]

Bon j'ai encore quelques retouches à faire.

Comme par exemple autoriser le wget sur ma blocklist, conf reverse proxy nginx à modifier.

Pour le reste tout fonctionne correctement.

Super taf messieurs 👌

Cdt.

 

Modifié le 23 avril 2020 par Herbs

[Brenac]

Le 25/02/2020 à 18:57, PPJP a dit :

Bonjour,
La commande, ci-dessous, en SSH, permet d'effacer la totalité des IP bloquées, mais conserve les IP permises.
sqlite3 /etc/synoautoblock.db "delete from AutoBlockIP where DENY = 1;"

Attention, les IP éventuellement bloquées par le blocage auto suite à des tentatives d'intrusion seront également effacées.

Bonne journée

merci @PPJPmais cela me donne 
thomas@brenac_server:~$ sqlite3 /etc/synoautoblock.db "delete from AutoBlockIP where DENY = 1;"
Error: unable to open database "/etc/synoautoblock.db": unable to open database file
 

Ais je loupe quelque chose ?

 

[PPJP]

Bonjour @Brenac

Le 12/05/2020 à 22:40, Brenac a dit :

Ais je loupe quelque chose ?

Oui et NON!

Oui: car cette commande doit être passée en tant que root

          Pour cela sudo -i puis le mot de passe admin (tapé en aveugle)

NON: car j'avais omis de le préciser!!!

Modifié le 14 mai 2020 par PPJP