[TUTO] Automatiser Blacklist depuis internet

[unPixel]

@PPJP a raison, les adresses IP référencées étaient bel et bien sur "définitivement".

Après suppression de plus de 30 000 adresses IP référencées, modification du script avec la solution donnée par PPJP et lancement du script, elles prennent bien en compte la durée qu'on a précisé dans la configuration 🙂

 

Modifié le 22 juillet 2019 par Zeus

[Jojo (BE)]

comment peut-on détruire toutes les entrées existantes d'un coup, pour tout recommencer avec la bonne version du script ?
Merci

[unPixel]

Comme je ne sais pas comment on manipule une bdd sqlite en ssh et que j'avais pas le temps de chercher, je me suis pas embêté et je les ai supprimé manuellement en les sectionnant au fur et à mesure. Ça prend 10 minutes à tout casser.

Si maintenant, tu as du temps, tu peux te renseigner sur la manipulation de base sqlite 🙂

 

[Jojo (BE)]

Je vais essayer 

1. exporter le fichier
2. le modifier pour la durée de bannissement des IP (mettre le moins possible)
3. le réimporter
4. et après la durée de bânissement, ça devrait être vide ?

[unPixel]

J'ai pas tenté mais tu peux aussi copier la base pour la sauvegarder :

cp /etc/synoautoblock.db /etc/synoautoblock.db.original

Puis supprimer cette base :

rm /etc/synoautoblock.db

Ensuite, tu relances le script et tu vois si la base se recrée.

[Jojo (BE)]

merci, mais je préfère travailler avec l'interfae standard , plutôt que d'aller modifier une table dans la DB (défaut professionnel, on ne sait jamais les autres liens).

Donc, j'ai juste exporté la liste et réimportée en choisissant d'écraser les IP existantes, et mettant une durée de bannissement de 1 jour. => demain tout devrait être vide. (proprement)

 

[unPixel]

Bon et bien parfait.

[Superthx]

Il y a 1 heure, PPJP a dit :

UNIXTIME_DELETE_IP=`date -d "+$DELETE_IP_AFTER jours" +%s`

Oui. Erreur de ma part. Remplcar jours par days.

UNIXTIME_DELETE_IP=`date -d "+$DELETE_IP_AFTER days" +%s`

 

[Jojo (BE)]

@Zeus, ma table était bien vide ;-)

@Superthx j'ai implémenté ta correction suggérée par @PPJP, et ça fonctionne du feu de dieu ;-)

J'ai quand-même une question : tu dis que tu ne fais pas tourner le script avec une date de validité permanente, car la DB grossirait indéfiniment. Je n'y connais rien au stripping unix que tu as fait, mais tu dois ajouter les IP d'une liste avec la date de fin. Et si tous les jours tu réimportes la liste complète des IP, c'est l'enfer. Or il y a une option prévue lors de l'importation manuelle pour écraser les IP existantes par la nouvelle importée. On évite ainsi d'exploser la taille de la DB.
Dans ton script, ne pourrais-tu pas vérifier si l'IP est déjà présente, et donc l'écraser également (ce qui pourrait être un paramètre également) ? La taille de la DB serait ainsi maitrisée.

J'y pense, je vais faire un test : je tourne 1 fois ton script et je le retourne une seconde fois dans la foulée, j'aurais le double d'entrées ?

Car 30000 entrées pendant 30 jours, cela fera 30000*30 = 900000 entrées au bout de 30 jours, avant que les premières ne disparaissent, ou on réduit la durée de blocage à 1 jour si on fait tourner l script toutes les 24h?

[Jojo (BE)]

non, je n'ai pas mes entrées en double, alors quel serait le problème de bloquer indéfiniment ?

en fait je devais délirer, j'étais sûr d'avoir lu quelque part un problème d'explosion de la DB. Pourquoi bloquer les IP pendant 30j seulement pas de manière permanente ?

Modifié le 23 juillet 2019 par Jojo (BE)

[Superthx]

Pourquoi bloquer indéfiniment une ip? La liste sur 30 jours suffit à mon avis. Quand tu telecharge la liste sur 30 jours au bout de ses 30 jours la liste se videra. Petit à petit... Si tu fais une mise à jours de cette liste toutes les heures elle rajoute les nouvelles ip. Peut être une vingtaine par heure. Aussi ces ip peuvent être des proxy, des periphs mobiles, des faux positifs, etc.... C’est pas si comme un pirate utilise indéfiniment la même ip pour faire ses exploits. Si je veux pirater je passe par le tor ou un proxy. Autre chose, le script ajoute automatiquement les ip qui manque de la nouvelle liste et ne réécrit pas les anciennes puisque elles sont déjà dans la BD. J’espère t’avoir éclairé!!

[Jojo (BE)]

Merci pour tes explications très claires, tu m'as convaincu ! 

[Superthx]

Salut @PPJP

Je comprends pas trop la question

Le 30/07/2019 à 15:27, PPJP a dit :

Comment avez-vous obtenu le nom des champs  IP et DENY de la base AutoBlockIP?  

Je suis en vacances donc je risque pas trop de repondre souvent 😀😅

Sinon pourquoi ne pas telecharger le fichier db et l'ouvrir avec DB Browser (SQLite) ?

[Jojo (BE)]

Le 23/07/2019 à 23:26, Superthx a dit :

Pourquoi bloquer indéfiniment une ip? La liste sur 30 jours suffit à mon avis. Quand tu telecharge la liste sur 30 jours au bout de ses 30 jours la liste se videra. Petit à petit... Si tu fais une mise à jours de cette liste toutes les heures elle rajoute les nouvelles ip. Peut être une vingtaine par heure. Aussi ces ip peuvent être des proxy, des periphs mobiles, des faux positifs, etc.... C’est pas si comme un pirate utilise indéfiniment la même ip pour faire ses exploits. Si je veux pirater je passe par le tor ou un proxy. Autre chose, le script ajoute automatiquement les ip qui manque de la nouvelle liste et ne réécrit pas les anciennes puisque elles sont déjà dans la BD. J’espère t’avoir éclairé!!

le23/7, j'avais environ 30000 entrées, je suis maintenant à 84000.

Cela pourrait)il être un problème docteur ? Ou le Syno "peut là contre" ?
Sinon, si je mets le blocage à 5 jours, il travaillera plus lors de la mise à jour, mais la DB serait plus petite ? Que pensez)vous qui soit le mieux ?

[Jojo (BE)]

merci pour le retour :

1. je n'ai aucune entrée expirée (et les options "Activer le blocage auto" et  "Activer l'expiration des blocages" sont bien cochées)
2. les deux lignes de code sont celles qui sont dans mon script ...

[Superthx]

Il y a 15 heures, PPJP a dit :

Je suis repassé sur ce tuto et vous propose un script, pour DSM, un peu modifié.

Cool, je testerai plus tard....Merci @PPJP

Il y a 4 heures, Jojo (BE) a dit :

Cela pourrait)il être un problème docteur ? Ou le Syno "peut là contre" ?
Sinon, si je mets le blocage à 5 jours, il travaillera plus lors de la mise à jour, mais la DB serait plus petite ? Que pensez)vous qui soit le mieux ?

Cela me semble normal. Depuis ton dernier post......

Il y a 4 heures, Jojo (BE) a dit :

Sinon, si je mets le blocage à 5 jours, il travaillera plus lors de la mise à jour, mais la DB serait plus petite ? Que pensez)vous qui soit le mieux ?

Pourquoi pas. De toutes façons cel ne prends que quelques Mo.

 

[Jojo (BE)]

@PPJP, merci pour cette analyse très instructive.

Je vais mettre en place ton script avec une curée de rétention courte

[Jojo (BE)]

Le 07/08/2019 à 23:14, PPJP a dit :

  Ce fichier  (éventuellement vide) est obligatoire!

Je vois que ceci est barré. Tu confirmes qu'il n'est plus obligatoire ?

[Jojo (BE)]

merci pour le retour.

Quand je fais un "copier/coller" du code, il ne veut pas s'exécuter, j'ai dans le lot de l'exécution de la tâche du synode une erreur 127.

Je me demande s'il n'y a pas ça et là des caractères cachés ...

Pourrais-tu mettre ton code en pièce jointe d'un post sous forme d'un fichier .txt ou .sh, ainsi on est sûr.

Merci 

[Jojo (BE)]

zut  alors, là, on nage en plein mystère.
Ma config : MAC et SublimeText.
J'ai download ton fichier sur mon MAC et mis sur le NAS => erreur 127
je l'ai ouvert avec Notepad++ (via //Desktop) => erreur 127
Idem avec TextEdit (MAC) ou Notepad (PC)

[Jojo (BE)]

mais non, sauf que maintenant le lot m'indique "Interrompu (126)" (au lieu de 127 ;-(

[PPJP]

Le lot???

Et en faisant comme ceci:

Ouvrir Notepad++
Vérifier sous Paramétrage/Préférence avoir

Sur Nas-Forum
Clic sur la PJ et choisir ouvrir avec NotePad++

Par acquis de conscience revérifier dans  NotePad++
avec Edition/Convertir les sauts de ligne sont bien au format Unix

Enregistrer le fichier dans le NAS

 

Modifié le 31 octobre 2019 par PPJP

[Jojo (BE)]

MERCI pour toutes tes explications détaillées.

Grâce à elles c'est bon maintenant !

[Superthx]

Salut @PPJP,

De retour de vacances je test le script. Je voulais savoir si tu as réussi à incorporer dans le script d'autres listes a part celle que j'ai mis au debut ?

Car cela est intéressant de pouvoir mettre d'autres listes. 

[Superthx]

Le 07/08/2019 à 23:14, PPJP a dit :

Liste_Url=("https://lists.blocklist.de/lists/") # espace entre chaque site!

Ok je viens de voir ceci. Si je veux rajouter un site par exemple https://mariushosting.com/wp-content/uploads/2019/08/deny-ip-list.txt

ce sera du type : 

Liste_Url=("https://lists.blocklist.de/lists/ https://mariushosting.com/wp-content/uploads/2019/08/deny-ip-list.txt") # espace entre chaque site!

?