[TUTO] Automatiser Blacklist depuis internet

[Diabolomagic]

@PPJP@bruno78

Bonjour Bonjour !

Sauriez vous ajouter une url à ce script :

https://feodotracker.abuse.ch/browse/

Bonne semaine à vous 🙂

 

[Diabolomagic]

sur SRM et DSM cela semble fonctionner :

[bruno78]

Bonjour,

@Diabolomagic ayant testé sur SRM, de mon côté j'ai testé sur DSM6 et DSM7, voici donc la mise à jour du script, ayant retiré la liste mariushosting et ajouté la liste (les listes) feodotracker.abuse.ch . Je n'ai pas touché au reste du fonctionnement du script.

autoblocksynology_20210223.sh

bruno78

[Superthx]

Salut! Cela fait longtemps que je passe plus par ici. Je vais check un peu ce qui se paase. @+

[Diabolomagic]

@bruno78 Merci à toi pour l'aide apportée ! Je confirme pour SRM que le crontab fonctionne aprés une premiére execution du script à la main. Je reste vigilant pour savoir si comme sur DSM il y a bien un roulement des adresses IP de façon à ne pas faire "exploser" la bdd.

@Superthx Re, @ bientôt j’espère 😉

[Superthx]

Je vais tester cela demain....

[PPJP]

Bonjour,

@bruno78

Je viens de consulter votre dernière version du script, et j'ai 2 observations très mineures

La ligne echo "" >> $tmp1 (ligne148 du script joint) n'aurait pas dû être supprimée.
Elle rajoute le retour à la ligne manquant après la dernière Ip dans la liste téléchargée.
Sans elle cette dernière IP n'est pas prise en compte.

J'ai téléchargé les 3 listes de feodotracker.abuse.ch et un rapide examen montre que ipblocklist_recommended.txt n'est qu'un extrait de ipblocklist.txt qui n'est elle même qu'un extrait de ipblocklist_aggressive.txt.
Il suffit donc de télécharger une seule liste suivant la sévérité de filtrage souhaité.

Lors de consultation du script, j'ai vu quelques améliorations possibles
   - augmentation de la vitesse d"exécution du script
   - compactage du code
  - rajout en infos finales du nombre d"IP provenant du fichier filtreperso.txt

Je n'utilise pas ce script, donc je n'ai pas fait de don sur le site de mariushosting.com et en conséquence je ne peux y accéder.
Je ne peux donc pas adapter le script pour ce site.

Une solution palliative serait envisageable:
  -téléchargement manuel des fichiers mariushosting.com et les mettre dans un répertoire donné (celui
du script par exemple)
 - corriger le script pour leur prise en compte (comme filtreperso.txt)

@Superthx

J’ai l'impression que vous présentez les premiers symptômes du bégaiement😆

Bonne soirée à tous.

 

Modifié le 28 février 2021 par PPJP

[bruno78]

@PPJP merci d'avoir passé un peu de temps à décortiquer l'affaire,

• echo >> $tmp1 : je vais le rajouter
• listes feodotracker : je vais ajouter tes remarques en entête de fichier, et par défaut ne charger que la liste agressive
• listes mariushosting : je vais recontacter l'auteur pour voir ce qui est possible ou pas. Si pas possible, ton idée est intéressante et doit pouvoir se mettre en place facilement. Je regarde.
• autres améliorations :
  • compactage de code et amélioration de la vitesse: suis pas forcement suffisamment compétent ... (et ne suis pas l'auteur initial du code). Quelles seraient les pistes d'amélioration d'après toi ?
  • infos finales à améliorer : ça doit pouvoir se faire ...

bruno78

[bruno78]

@PPJP Mille excuses,

je n'ai pas fait attention que tu avais en fait déjà réalisé les modifications !! Donc un grand merci à toi.

Bruno78

[Diabolomagic]

@PPJP Merci à toi pour cette nouvelle version améliorée 😉

Plus qu'a effectuer les changements sur SRM et DSM 👍

[Diabolomagic]

@PPJP@bruno78

Bonjour, J'ai essayé le nouveau script, il ne semble pas très bien fonctionné sur le routeur.

Voila le rapport du fichier log :

~ # /bin/sh /volumeUSB1/usbshare1-1/scripts/autoblocksynology.sh

Demarrage du script autoblocksynology.sh v0.0.4: Sat Feb 27 09:49:03 CET 2021
sh: 0: unknown operand
 IP téléchargée sur filtreperso.txt
sh: 0: unknown operand
Echec chargement IP depuis le site https://lists.blocklist.de/lists/all.txt
sh: 0: unknown operand
Echec chargement IP depuis le site https://feodotracker.abuse.ch/downloads/ipblcklist_aggressive.txt
26111 IP ont été traitées
25976 IP ont vu leur blocage prolongé
135 nouvelles IP ont été ajoutées
26614 IP seront bloquées suite à cette mise à jour
Fin du script exécuté en 14 secondes

De plus mon routeur est de plus en plus lent, est il possible que la bdd grossisse et sature sa mémoire interne ?

Si possible et pas trop chronophage comment modifier le script de manière à ce qu'il se serve de la carte SD bien plus volumineuse (1.5Go utilisé sur les 32 disponible !) pour faire tourner le script et soulager le routeur ?

Faut il "simplement" modifier ceci  ?

### CONSTANTES ###
##################
Version="v0.0.4"
db="/etc/synoautoblock.db"
dirtmp="/tmp/autoblock_synology"

Je viens de faire un htop :

Ça ne me semble pas déraisonnable pourtant :

 

[Diabolomagic]

Sur le NAS en revanche, le script fonctionne comme sur des roulettes :

Demarrage du script autoblocksynology.sh v0.0.4: Sat Feb 27 10:20:03 CET 2021
0 IP téléchargée sur filtreperso.txt
25635 IP téléchargées sur https://lists.blocklist.de/lists/all.txt
421 IP téléchargées sur https://feodotracker.abuse.ch/downloads/ipblocklist_aggressive.txt
26056 IP ont été traitées
25972 IP ont vu leur blocage prolongé
84 nouvelles IP ont été ajoutées
26468 IP seront bloquées suite à cette mise à jour
Fin du script exécuté en 0mn 4s

 

[bruno78]

@Diabolomagic sur ce coup là je ne peux pas t'aider .... pas de SRM à la maison .....

[Superthx]

J’ai toujours pS tester sur SRM. Je test demain et j’informe

[Superthx]

Perso, j'ai ceci :

SynologyRouter> ./autoblocksynology_20210226.sh

Demarrage du script autoblocksynology_20210226.sh v0.0.4: Sat Feb 27 23:14:24 CET 2021
sh: 0: unknown operand
 IP téléchargée sur filtreperso.txt
sh: 0: unknown operand
Echec chargement IP depuis le site https://lists.blocklist.de/lists/all.txt
sh: 0: unknown operand
Echec chargement IP depuis le site https://feodotracker.abuse.ch/downloads/ipblocklist_aggressive.txt
25898 IP ont été traitées
25850 IP ont vu leur blocage prolongé
48 nouvelles IP ont été ajoutées
26140 IP seront bloquées suite à cette mise à jour
Fin du script exécuté en 13 secondes

 

[PPJP]

Le script semble faire correctement son travail sur SRM.
Il ne semble y avoir qu'une commande non reconnue sur SRM, mais n'affectant que l'affichage des infos de téléchargement.Bonjour,

@Diabolomagic

Il y a 16 heures, Diabolomagic a dit :

db="/etc/synoautoblock.db"
dirtmp="/tmp/autoblock_synology"

La base de donnée synoautoblock.db fait partie de SRM et ne peut être déplacée.
dirtmp indique le répertoire contenant des fichiers temp utilisés durant l’exécution du script, Ce répertoire est donc vide en final.
Un déplacement sur la carte SD  est possible mais nécessitera la modification de quelques lignes de code.

Je suis surpris du ralentissement du routeur que vous signalez car la taille de base de données est toujours du même ordre de grandeur que précédemment. Dans votre exemple 26614 + éventuellement des IP bloquées suite à des tentatives d'intrusion et des IP en liste blanche.
Vous pouvez lancer, pour test, ce script avec le paramètre  "raz" ce qui supprimera les IP  bloquées non définitivement (conserve les IP en liste blanche)

Je ne peux malheureusement pas tester ces ralentissements car je n'ai pas de SRM.

@supertex

Constatez vous également des ralentissement du routeur?

en PJ:
Une nouvelle version du script (testée sur DSM) susceptible de corriger les anomalies d'affichage des infos de téléchargement sur SRM.

autoblocksynology.sh

[Diabolomagic]

@PPJP

Bonjour, merci de ton aide. Le script fonctionne sur le routeur, j'ai exactement le même nombre d'IP bloquées sur le routeur et sur le NAS. Je confirme ton verdict, seul l'affichage des infos en est affecté. Rien de bien méchant.

Merci à toi pour ton dernier script, je vais tester cela.

A utiliser sur SRM et DSM ou seulement sur le routeur ?

@Superthx@PPJP

Je pense avec un peu de recul que les ralentissements étaient du au service Suricata utilisé par Threat Prevention et non du au script ou à la BDD. Donc pas de soucie non plus de ce côté là.

[Superthx]

Le script doit marcher sur les 2.

[Diabolomagic]

Ok merci à toi.

[Diabolomagic]

Bonjour,

Si vous passez par là et que vous avez un peu de temps; je souhaiterai rajouterai la liste ci dessous au script :

https://blacklist.3coresec.net/lists/all.txt

Je subit depuis quelques jours des bizarreries provenant d'IP figurant dans la liste ci-dessus mais non présente dans les 2 listes déjà présentent dans le script. Intégrer cette liste pourrait résoudre mon problème une bonne fois pour toute.

Exemple de "bizarreries" rencontrées ces derniers jours :

 

[Jeff777]

@Diabolomagic

A mon avis c'est sans fin, tu ferais mieux de limiter l'accès à ton nas à quelques pays. Avant que je ne fasse cela j'avais très souvent des tentatives d'intrusion, principalement de pays asiatiques de pays de l'est ou des USA. J'ai restreint à la France, à la Belgique et à UK et depuis plus rien.

[PPJP]

Bonjour,

Je repassais justement sur ce forum pour voir si la dernière version du script avait été validée sur SRM.

Ci-joint le script modifié selon votre demande.

Le site en question proposant 4 listes, la possibilité de choisir celle(s) à prendre en compte est prévue.

Comme d'habitude le script a été validé pour DSM mais pas pour SRM.

PS: je n'ai pas pris le temps de vérifier à quoi correspondait ces adresses " bizarres"

 

Modifié le 7 mars 2021 par PPJP

[Diabolomagic]

@Jeff777

Je fais un léger HS pour te répondre, ce que tu dis est déjà fait, je ne comprend meme pas comment ces alertes sont possibles car mon NAS est normalement déjà hors de portée et le le pensais "sécurisé".

Voila une copie d'écran du FW du NAS et du Routeur.

NAS :

 

ROUTEUR :

@PPJP

Bonjour, encore une fois un grand merci pour ta réactivité et ton aide précieuse !

Pas de souci pour SRM, c'est déjà au top pour DSM !!

@PPJP

Sur le NAS fonctionne comme sur des roulettes ! Un grand Merci :

Demarrage du script autoblocksynology.sh v0.2.0: Fri Mar  5 09:34:31 CET 2021
0 IP téléchargée sur filtreperso.txt
21267 IP téléchargées sur https://lists.blocklist.de/lists/all.txt
985 IP téléchargées sur https://blacklist.3coresec.net/lists/all.txt
438 IP téléchargées sur https://feodotracker.abuse.ch/downloads/ipblocklist_aggressive.txt
22666 IP ont été traitées
21553 IP ont vu leur blocage prolongé
1113 nouvelles IP ont été ajoutées
23056 IP seront bloquées suite à cette mise à jour
Fin du script exécuté en 0mn 9s

 

[Jeff777]

il y a 23 minutes, Diabolomagic a dit :

Je fais un léger HS pour te répondre, ce que tu dis est déjà fait, je ne comprend meme pas comment ces alertes sont possibles car mon NAS est normalement déjà hors de portée et le le pensais "sécurisé".

Oui effectivement c'est curieux. Je ne sais pas pourquoi tu reçois ces alertes.... mais d'un autre côté si elles te sont notifiées c'est qu'elles sont bloquées non?

[Diabolomagic]

@Jeff777

C'est tout le mystére de threat prevention ... 😅