Bon j'ai finalement trouvé d'où venait le problème.
Je me trompai complet, c'est le port de la box qui s'active et se désactive tout seul, apparemment ce serait un problème récurent avec la pop de chez free. Elle n'arrive pas à savoir s'il elle doit passer le port en 100 ou 1000 mb/s, surtout quand derrière elle n'arrive pas à reconnaitre les différentes cartes réseaux des périphériques.
Et comme derrière mes switch j'ai le pont hue qui est en 100 et le nas et le pc en 1000 mb/s, je pense que ça perturbe la box, le seul moyen apparemment c'est de définir manuellement la vitesse du port dans les paramètre de la box, mais quand la pop redémarre elle perd ce réglage qui n'est pas sauvegardé, c'est vraiment pas pratique.
Du coup, j'ai forcé en 1000mb/s le port d'arrivé du câble provenant de la box vers le switch en espérant que si je perd le réglage dans la box, le fait que le switch demande du 1000, ça reste toujours fonctionnelle à voir dans le temps.