Ssh & Download Station Ou Notification

[Alandil]

@Vinky

Bon n'ayant pas trouvé et ayant fait tellement de truc dans le système que je réinstalle ma seedbox complètement. (Cela fait 2 fois maintenant...) J'esaie de trouver le bon règlage pour faire correctement l'ensemble de mon besoin. C'est intéressant mais pas de la tarte... J'ai rebloqué sur la gestion de la clé et @Langer n'avait pas exposé la fin de son réglage alors je cherche. Si tu as des idées, je suis preneur !

Modifié le 31 mai 2020 par Alandil

[Vinky]

Désolé @Alandil je n'utilise pas le SFTP pour récupérer les fichiers, aucune idée si cela fonctionne sans les identifiants dans l'URL via clé SSH, mais je ne vois pas pourquoi cela ne pourrait fonctionner ?

Pour ma part je passe par configuration du virtual host pour limiter les IP et après htaccess/htdigest pour demande de mdp si pas la bonne IP. Par conséquent, l'IP de ma box me permet de récupérer les données sans demande de Mdp.

HS : Légère évolution du fichier PHP pour automatiser la récupération de l'URL.

[Alandil]

Il y a 7 heures, Vinky a dit :

Désolé @Alandil je n'utilise pas le SFTP pour récupérer les fichiers, aucune idée si cela fonctionne sans les identifiants dans l'URL via clé SSH, mais je ne vois pas pourquoi cela ne pourrait fonctionner ?

Pour ma part je passe par configuration du virtual host pour limiter les IP et après htaccess/htdigest pour demande de mdp si pas la bonne IP. Par conséquent, l'IP de ma box me permet de récupérer les données sans demande de Mdp.

Salut @Vinky

Bon après la 5ème réinstallation, j'ai réussi à mettre en place du HTTPS et du filtre IP sur le site RSS.php et je ne suis pas peu fier de moi 😄 

Mais ! Il me reste un problème... Maintenant, le site reprend en compte le contenu du dossier Temp que j'avais exclu et je ne sais pas pourquoi puisque je n'ai pas changé le code....

Il y a 7 heures, Vinky a dit :

HS : Légère évolution du fichier PHP pour automatiser la récupération de l'URL.

J'ai repris du coup ton code (pour ta modif et vérifier que je n'avais pas de soucis avec une coquille pour l'exclusion du dossier) et là, je me retrouve avec une erreur HTTP ERROR 500 ....

Modifié le 1 juin 2020 par Alandil

[Alandil]

Le 18/01/2014 à 01:05, Vinky a dit :

<?php //Utilisation : <-----------URL------------>/rss.php?dossier=<NOM_DU_DOSSIER> //Si le paramêtre dossier n'est pas mis, le dossier par défaut est listé. /********************************/ /* CONFIGURATION */ /********************************/ $site = 'http://'.$_SERVER['HTTP_HOST'].'/'; // IP ou NDD (http://<IP> ou htps://<IP> ou ftp://<IP> etc... utilisé pour télécharger les fichiers) $physical_path = '/var/www/'; // Dossier à lister par défaut (ex : /var/www/download) $max = 20; //Nombre de fichiers à afficher dans le flux RSS

J'ai trouvé pourquoi j'ai une erreur. à la fin de ton paramètre $site, tu as un ". '/'" alors que tu devrais  avoir "/'"

Par contre, le dossier Tmp est toujours pris en compte ... Je continue mes essais

[Alandil]

Bon, je vais m'arrêter là.

Voilà ce que je constate :

1. avec l'URL https://IP_Seedbox/RSS.php, je vois le dossier Tmp que j'ai exclu dans la ligne de code prévue à cet effet. Cela pourrait-il être dû à la création d'un lien dur ? Le fichier est unique et est dans le dossier /home/user/torrents/Radarr mais il en reste trace dans /home/user/torrents/Tmp pour maintenir le flux torrent (P2P).
2. L'URL https://IP_Seedbox/RSS.php?dossier=Radarr fonctionne nickel et filtre bien sur ce seul dossier.
3. Le débit est plus stable en FTP qu'en SFTP.
4. En quoi consiste ta modif exactement ? Que je prenne bien 😉
5. Peux-tu expliquer l'action de renommage afin de pouvoir voir ce qu'on souhaiterait modifier et de quelle manière on pourrait s'y prendre ? Par ex, mettre une majuscule à chaque mot même avec accent.

Merci d'avance à toi

Modifié le 1 juin 2020 par Alandil

[Vinky]

Salut @Alandil

Félicitation, pense à bien vérifier que ça ne fonctionne pas pour les autres IP. N'hésite pas à préciser comment tu as fais pour d'autres 😉

1. Pour ton dossier Temp, tu as repris ton code qui te permettaient de l'exclure ? Tu parles de "Tmp" et "Temp", pas d'erreur de syntaxe, majuscule ou de ".Tmp" ?

 //. = current directory, .. = up one level. We want to ignore both.
            if ($file[0] == "Temp") {
                continue;
            }

2. Pour l'erreur, je te confirme qu'il faut mettre un point, c'est ce qui permet de faire de la concaténation. Le code fonctionne bien comme ça chez moi.

3. L'évolution consiste à reprendre en "site" le nom dans l'url que tu indiques pour charger le flux rss.php (ex : https://monsite.fr/rss.php va ressortir monsite.fr). Mais tu peux faire comme avant, aucun souci. L'avantage c'est que si tu changes de nom de domaine, ça prendra la modification, tu n'auras pas à modifier ton fichier php.

4. Tu parles de FTP plus stable, tu ne fais pas du https du coup ?

5. Pour le rennomage, mon objectif était d'être certain que quelque soit la source, le format sera le même et donc les filtres soient les mêmes. De plus, j'ai voulu épuré autant que possible au simple nom les fichiers (c'est effectivement personnalisable à souhait, n'hésite pas à retirer pour voir l'impact sur ton flux RSS (uniquement sur le nom, pas le lien bien évidement) : 

Pour résumer : 

if(substr_count(strtoupper($nom), strtoupper(" WEB")) > 0)
		{
			$nom = strrev($nom);
			$nom = strrev(substr($nom,strpos(strtoupper($nom),strtoupper("BEW"))+4));
		}

Je compte le nombre de fois ou le terme " WEB" apparait dans la chaine, si plus que 0 fois 

            J'inverse l'ordre d'affichage. Puis je met tout en majuscule, je retire les 4 premiers caratères de la chaines après l'apparition de 'WEB' (BEW à l'envers) et je fini par la remettre à l'endroit.

après avoir retiré tous les thèmes qui ne m'intéressent pas en fin des noms : 

$nom = ucwords(mb_strtolower($nom));

Je met tout en minuscule puis je met la première lettre de chaque mot en majuscule

            $nom = str_replace ( "French" ,  "FRENCH", $nom);
 

Enfin je force en majuscule certains mots souhaités.

N'hésite pas àr egarder sur https://www.php.net/docs.php si tu as une fonction que tu ne comprends pas. 

Modifié le 1 juin 2020 par Vinky

[Alandil]

il y a 18 minutes, Vinky a dit :

1. Pour ton dossier Temp, tu as repris ton code qui te permettaient de l'exclure ? Tu parles de "Tmp" et "Temp", pas d'erreur de syntaxe, majuscule ou de ".Tmp" ?

 //. = current directory, .. = up one level. We want to ignore both.
            if ($file[0] == "Temp") {
                continue;
            }

Voilà mon code :

            //. = current directory, .. = up one level. We want to ignore both.
            if ($file[0] == "Tmp") {
                continue;
            }
 

il y a 19 minutes, Vinky a dit :

4. Tu parles de FTP plus stable, tu ne fais pas du https du coup ?

Si le flux RSS est en HTTPS mais les liens sont en FTP car plus stable

 

il y a 21 minutes, Vinky a dit :

5. Pour le rennomage, mon objectif était d'être certain que quelque soit la source, le format sera le même et donc les filtres soient les mêmes. De plus, j'ai voulu épuré autant que possible au simple nom les fichiers (c'est effectivement personnalisable à souhait, n'hésite pas à retirer pour voir l'impact sur ton flux RSS (uniquement sur le nom, pas le lien bien évidement) : 

Pour résumer : 

if(substr_count(strtoupper($nom), strtoupper(" WEB")) > 0)
		{
			$nom = strrev($nom);
			$nom = strrev(substr($nom,strpos(strtoupper($nom),strtoupper("BEW"))+4));
		}

Je compte le nombre de fois ou le terme " WEB" apparait dans la chaine, si plus que 0 fois 

            J'inverse l'ordre d'affichage. Puis je met tout en majuscule, je retire les 4 premiers caratères de la chaines après l'apparition de 'WEB' (BEW à l'envers) et je fini par la remettre à l'endroit.

après avoir retiré tous les thèmes qui ne m'intéressent pas en fin des noms : 

$nom = ucwords(mb_strtolower($nom));

Je met tout en minuscule puis je met la première lettre de chaque mot en majuscule

            $nom = str_replace ( "French" ,  "FRENCH", $nom);
 

Enfin je force en majuscule certains mots souhaités.

N'hésite pas àr egarder sur https://www.php.net/docs.php si tu as une fonction que tu ne comprends pas

Ok je vais jeter un oeil

[Vinky]

1. Il s’appelle comment ton dossier à exclure ? « Temp » ou « tmp » ?

4. ah ok, c’est le flux que tu as sécurisé. Très bien. Pour le FTP, si tu souhaites qu’il n’y ait pas les login/mdp dans le lien, pareil, pense à bien sécuriser. 

Modifié le 1 juin 2020 par Vinky

[Alandil]

il y a 21 minutes, Vinky a dit :

1. Il s’appelle comment ton dossier à exclure ? « Temp » ou « tmp » ?

Tmp. Je l'ai modifié lors de ma dernière install. Mais j'ai retenté Temp aussi et dans le deux cas, l'url https://IP_Seedbox/RSS.php conteint le contenu des dossiers

 

il y a 21 minutes, Vinky a dit :

4. ah ok, c’est le flux que tu as sécurisé. Très bien. Pour le FTP, si tu souhaites qu’il n’y ait pas les login/mdp dans le lien, pareil, pense à bien sécuriser. 

Mon flux RSS est bien verrouillé pour autant je n'ai pas trouvé comment faire pour ne pas mettre de login et mdp dans le lien de téléchargement ... J'ai cherché partout...

Modifié le 1 juin 2020 par Alandil

[Vinky]

Le fichier temp est à la racine de ton répertoire par défaut ou c’est dans un sous dossier ?

Pas d’espace ou de caractères avant/après le nom ?

pour le FTP, personnellement j’ai fait une règle dans le pare feu qui fait que le ftp n’est autorisé que pour mon iP local de VPN. J’ai du coup mis le FTP sans mot de passe car il faut être en VPN pour y accéder. 

[Alandil]

il y a 11 minutes, Vinky a dit :

Le fichier temp est à la racine de ton répertoire par défaut ou c’est dans un sous dossier ?

Pas d’espace ou de caractères avant/après le nom ?

pour le FTP, personnellement j’ai fait une règle dans le pare feu qui fait que le ftp n’est autorisé que pour mon iP local de VPN. J’ai du coup mis le FTP sans mot de passe car il faut être en VPN pour y accéder. 

Le dossier Tmp est situé dans home/user/torrents, le dossier indexé. C'est pour ça que j'ai exclu ce dossier car c'est mon encours de téléchargement.

Non pas de coquille dans le nom du dossier.

Pour le FTP, je veux bien que tu me donnes ta procédure.

[Vinky]

Tu as forcement un nom différent dans ton répertoire.

Tu peux regarder le nom exact (majuscule, espace ou autres choses). le code doit fonctionner. Sauf si tu ne l'as pas mis au bon endroit ?

Pour ta demande, c'est totalement en dehors de ce topic et assez long à gérer (mettre en place un VPN en tant que serveur et ensuite sécurisation) je te propose de regarder un peu si tu te sens prêt à mettre ça en place.

[Alandil]

Il y a 10 heures, Vinky a dit :

Tu as forcement un nom différent dans ton répertoire.

Tu peux regarder le nom exact (majuscule, espace ou autres choses). le code doit fonctionner. Sauf si tu ne l'as pas mis au bon endroit ?

Salut,

Je viens de regarder et quand je tape cd /home/user/torrents/Tmp, je vais bien dans le dossier. Donc le nom est le même que ce que j'ai mis dans le code du RSS.php.

Physical path : home/user/torrents

Dossier exclu : Tmp

 

De plus, j'ai l'impression que les filtres sur Download Station ne fonctionne pas. Par ex :

Ce filtre n'a pas fonctionné sur des fichiers nommés 9-1-1.S03E01 alors que le test dit qu'il doit fonctionner. Est-ce qu'il y a un paramètre qui doit être modifié ?

Modifié le 2 juin 2020 par Alandil

[Vinky]

Vérifie avec un autre nom de dossier, pour voir ?

sinon c’est que tu as mis ta ligne de code au mauvais endroit. 
 

pour le filtre. Met l’option « expression régulière » et mets « .* » entre chaque chiffre/expression que tu souhaites retrouver. (Même si dans ton exemple ne serait-il pas plus simple de mettre « 9-1-1 »  comme filtre ?)

[Alandil]

Il y a 2 heures, Vinky a dit :

pour le filtre. Met l’option « expression régulière » et mets « .* » entre chaque chiffre/expression que tu souhaites retrouver. (Même si dans ton exemple ne serait-il pas plus simple de mettre « 9-1-1 »  comme filtre ?)

OK je vais tester cela. Quelque chose comme ça  ?

Le filtre s'applique à quel moment ? Avant la création de la tâche de téléchargement ?

Il y a 2 heures, Vinky a dit :

Vérifie avec un autre nom de dossier, pour voir ?

sinon c’est que tu as mis ta ligne de code au mauvais endroit. 

Pour le code, je n'ai pas touché à ton code si ce n'est remplacé le "." par "Tmp" donc ce n'est pas cela. Même avec un autre dossier, j'ai le même résultat

Modifié le 2 juin 2020 par Alandil

[Vinky]

Il faut également le mettre à la fin. 

il s’applique sur tout nouveau fichier dans le flux rss. Des qu’un fichier apparaît, il vérifie si ta règle s’applique. 

Je regarderai à l’occasion comment fonctionne ce filtrage. Je ne m’en sers que pour exclure les fichiers cachés. Possible que pour un dossier complet il faut faire autrement. 

EDIT : En fait c'était déjà prévu, je ne me souvenais plus : 

Ligne 33 : 

$excludeFiles = array(".", "..", ".htaccess", "");  // Liste des fichiers ignorés dans le listing

Il te suffit de rajouter le dossier Tmp. Je viens de tester en ajouter un dossier, le flux rss exclu bien son dossier.

La ligne : 

 if ($file[0] == ".") {

Contrôle que le premier caractère de ton dossier n'est pas ".", cela ne peut être une chaîne de caractère.

 

Modifié le 2 juin 2020 par Vinky

[Alandil]

il y a 17 minutes, Vinky a dit :

Il faut également le mettre à la fin. 

Qu'est ce qu'il faut mettre à la fin ? Le .* ? Si c'est le cas, je mets quoi Fullmetal Alchemist.* ? Si c'est le cas, alors un fichier Fullmetal.Alchemist sera exclu puisque je suis en expression exact... Je n'arrive pas à comprendre le truc... à moins que je n'ai pas fait gaffe et tu mets toujours un "." entre 2 mots et les premières lettres de chaque mot sont toujours en majuscule ?

 

il y a 17 minutes, Vinky a dit :

EDIT : En fait c'était déjà prévu, je ne me souvenais plus : 

Ligne 33 : 

$excludeFiles = array(".", "..", ".htaccess", "");  // Liste des fichiers ignorés dans le listing

Il te suffit de rajouter le dossier Tmp. Je viens de tester en ajouter un dossier, le flux rss exclu bien son dossier.

La ligne : 

 if ($file[0] == ".") {

Contrôle que le premier caractère de ton dossier n'est pas ".", cela ne peut être une chaîne de caractère.

Comme je te le disais, pour vérifier l'état du dossier Tmp, j'ai lancé la commande cd /home/fabien/torrents/Tmp et je bien arrivé dans le dossier en question. Par acquis de conscience, j'ai fait un ls -la sur le dossier /home/fabien/torrents/ et je retrouve bien le dossier "Tmp" et pas ".Tmp".

Modifié le 2 juin 2020 par Alandil

[Vinky]

On ne se comprend pas très bien aujourd'hui 🙂

1. Il faut que tu mettes le ".*" à la fin de chaque expression : Donc dans ton cas : 

Fulmetall.*Alchemist.*

Là ça devrait fonctionner.

2. Justement, $file[0] = Premier caractère. Tu ne peux donc pas avoir le premier caractère = Tmp. A la limite, le code ci-dessous pourrait marcher (je n'ai pas tester pas certain de la syntaxe)

if ($file[0].$file[1].$file[2] == "Tmp") {

Mais le plus simple est là : La solution est à la ligne 33 dans la variable $excludFiles :

$excludeFiles = array(".", "..", ".htaccess", "","Tmp");  // Liste des fichiers ignorés dans le listing

Comme ça tu devrais avoir l'exclusion de ton fichier Tmp

Modifié le 2 juin 2020 par Vinky

[Alandil]

il y a 20 minutes, Vinky a dit :

1. Il faut que tu mettes le ".*" à la fin de chaque expression : Donc dans ton cas : 

Fulmetall.*Alchemist.*

Là ça devrait fonctionner.

OK je tente le coup. Mais comme tu le dis, ce sera pour les nouvelles tâches de téléchargement. Tant pis pour celles en cours.

il y a 20 minutes, Vinky a dit :

2. Justement, $file[0] = Premier caractère. Tu ne peux donc pas avoir le premier caractère = Tmp. A la limite, le code ci-dessous pourrait marcher (je n'ai pas tester pas certain de la syntaxe)

if ($file[0].$file[1].$file[2] == "Tmp") {

Mais le plus simple est là : La solution est à la ligne 33 dans la variable $excludFiles :

$excludeFiles = array(".", "..", ".htaccess", "","Tmp");  // Liste des fichiers ignorés dans le listing

Comme ça tu devrais avoir l'exclusion de ton fichier Tmp

Arrrgghh ... Je ne comprends toujours pas. On parle d'un dossier, pas d'un fichier. C'est mon dossier encours de téléchargement. Je ne comprends pas l'histoire du premier caractère..... J'en suis mdr de fatigue ! 🙃🙃 Il me semblait que à la ligne 55, 

            if ($file[0] == "Tmp") {
                continue;
            }

signifiait qu'il excluait le dossier Tmp situé dans le physical path définit en paramètre, soit, chez moi, /home/fabien/torrents/

En partant de ce postulat, alors je suis conforme au fonctionnement.

Si je comprends bien, la ligne 33  va m'exclure les fichiers en extensions Tmp mais ce n'est pas le but recherché ici ^^

Autre point : j'ai eu des fichiers contenant des ";" dans le nom de fichier qui n'ont pas eu de liens générés propres. Ils ont tous été en erreur. Par ex : un manga appelé Chaos;Head

N.B. : tu as vraiment beaucoup de patience. à ta place , je me serais peut-être déjà envoyé boulé 😉 merci beaucoup pour le temps que tu consacres à mon optimisation !

Modifié le 2 juin 2020 par Alandil

[Vinky]

Oui uniquement les nouvelles. 
pour les anciennes taches, tu peux les ajouter en masse à la main en les sélectionnant tous. (en cliquant sur télécharger vers, tu peux choisir le dossier de destination)
 

Pour le reste, teste comme je te le dis, tu verras ça marche. Ça exclu fichier ou dossier qui porte ce nom

Je ne sais pas comment t’expliquer plus en détail qu’au dessus. $file[0] = premier caractère. Tu ne peux pas comparer un caractère avec une chaine de caractère, c'est normal que ça ne fonctionne pas.

$file = Tmp

==> $file[0] = T //Premier caractère

==> $file[1] = m //Deuxième caractère

==> $file[2] = p //Troisième caractère

 

Modifié le 2 juin 2020 par Vinky

[Alandil]

il y a 42 minutes, Vinky a dit :

$file = Tmp

==> $file[0] = T //Premier caractère

==> $file[1] = m //Deuxième caractère

==> $file[2] = p //Troisième caractère

Je comprends vite mais il faut m'expliquer longtemps !!!! 😄😄😄 Ok ça roule et ça marche !

il y a 53 minutes, Alandil a dit :

Autre point : j'ai eu des fichiers contenant des ";" dans le nom de fichier qui n'ont pas eu de liens générés propres. Ils ont tous été en erreur. Par ex : un manga appelé Chaos;Head

Tu as vu ce point ? 

Modifié le 2 juin 2020 par Alandil

[Vinky]

Tu as fait comment, tu as ajouté "Tmp" dans $excludefile ? Si oui, pense à remettre comme avant le "." au lieu de "Tmp" dans le if

Oui, j'ai vu ton problème, mais j'avoue qu'en plus de dix ans ce cas là ne m'est jamais arrivé... Tu devrais te tourner vers des sources un peu plus "propres" parce que ce n'est pas recommandé ce genre de nom de fichiers... (Tout comme les accents vu au dessus).

Je regarderai si je trouve quelque chose mais sans trop m'y attarder.

Modifié le 2 juin 2020 par Vinky

[Alandil]

il y a 8 minutes, Vinky a dit :

Tu as fait comment, tu as ajouté "Tmp" dans $excludefile ? Si oui, pense à remettre comme avant le "." au lieu de "Tmp" dans le if

if ($file[0].$file[1].$file[2] == "Tmp") {

Non j'ai juste mis la formule ci-dessus et c'était OK.

J'essaie de comprendre les formules sur les chaînes de caractères en PHP. C'est la croix et la bannière... J'ai des fichiers qui sont écrit comme ça FIchier, d'autre FICHIER, d'autre encore fichier... Du coup mes filtres ne servent quasiment à rien...

Pour la source concernant la séries Chaos;Head, c'est le vraie nom de la série... L'uploader n'a pas dû se prendre la tête avec le nom des fichiers...

[Vinky]

Ah ok, t'as fait le plus compliqué, mais si ça marche. Je serais toi je rajouterai vraiment à $excludefile le terme "tmp", c'est plus propre 😉 et surtout universel et reproductible pour tout autre nom.

Pas normal ce que tu me dis, le renommage à justement pour fonction de tout mettre en écrivant Première lettre des mots en majuscule le reste en minsucule.

ex : Tout La Phrase Doit Etre Ecrite Comme Ca. Seul à partir de S01E01 et la langue ça change.

Pour ton bug de ";" : 

Remplace à la fin la balise <link> par celle-ci dessous : Ca rerend plus lisible l'url et ça force les ";" : 

<link>'.str_replace("%2F","/",str_replace("%3B",";",$site.rawurlencode(str_replace($lienInterne, "" ,$fichier)))).'</link>

[Alandil]

il y a 7 minutes, Vinky a dit :

Ah ok, t'as fait le plus compliqué, mais si ça marche. Je serais toi je rajouterai vraiment à $excludefile le terme "tmp", c'est plus propre 😉 et surtout universel et reproductible pour tout autre nom.

ça roule ! je vais faire simple et universel !

Il y a 1 heure, Vinky a dit :

$excludeFiles = array(".", "..", ".htaccess", "","Tmp");  // Liste des fichiers ignorés dans le listing

Tu devrais ajouter en commentaire que cela ignore aussi les dossiers comme ça... Il n'y aura plus d'autre Alandil à te poser la question 😉

il y a 7 minutes, Vinky a dit :

Pas normal ce que tu me dis, le renommage à justement pour fonction de tout mettre en écrivant Première lettre des mots en majuscule le reste en minsucule.

ex : Tout La Phrase Doit Etre Ecrite Comme Ca. Seul à partir de S01E01 et la langue ça change.

Oui fichier BLACK CLOVER 25.mp4 sur le serveur et le renommage m'a donné le même nom de fichier. Encore un uploader à la noix je pense.

il y a 7 minutes, Vinky a dit :

<link>'.str_replace("%2F","/",str_replace("%3B",";",$site.rawurlencode(str_replace($lienInterne, "" ,$fichier)))).'</link>

Done

Modifié le 2 juin 2020 par Alandil