Je suis dans la même situation que toi (Free, OVH et mailstation) et chez moi ca fonctionne très bien, je pense que tu t'es mélangé les pinceaux.
Il y a plusieurs choses dans ton cas :
Débloquer le port 25 chez Free : console d'Administration -> Internet -> Blocage du protocole SMTP sortant. Décocher la case "Activer" correspondant au blocage du SMTP sortant. Rebooter la Freebox.
Routage des ports 25/110/587 en UDP à supprimer. C'est inutile. Le SMTP est en 25/587 TCP uniquement. L'IMAP en 110 TCP uniquement.
Dernière photo, et c'est là que je comprends pas ton rapport entre OVH et mailstation. Ton serveur est chez toi, sur le Syno (à la vue de la configuration MX des DNS). Les clients se connectent via Roundcube (donc sur le Syno, les mails partent directement de lui) via l'adresse http://www.nasmat.fr/mail/ (ou http://192.168.0.11/mail/ en local). Dans ce cas là :
serveur smtp : localhost. Le serveur est lui même. Dans le cas d'un client type Thuderbird, outlook... oui, il faudrait dans ce cas là mettre smtp.nasmat.fr et déclarer le sous domaine chez OVH (actuellement stmp.nasmat.fr pointe vers un serveur DNS d'OVH, pas vers ta freebox),
port stmp : 25. Là encore, le Syno se parle à lui même, pas besoin de le faire discuter que sur un autre port que le port standard du SMTP.
nom d'utilisateur : utilisateur. Là c'est le nom d'utilisateur correspondant au compte utilisateur DSM qui doit avoir la boite mail. Il est conseillé de le mettre afin que l'expéditeur du mail corresponde bien à l'utilisateur, et non à la configuration "Notification" du Syno.
mot de passe : password. Mot de passe DSM de l'utilisateur défini ci-dessus.
Tu n'as rien à faire chez OVH si ce n'est la configuration DNS. Pas besoin de créer un compte mail supplémentaire.