L'extension .swp c'est ce qui est ajouté à la fin d'un fichier quand il est en cours d'édition dans un éditeur de texte comme nano ou vim, et que la session SSH a été déconnectée sans sortir du fichier.
Déjà tu le renommes, en SSH via la commande mv ou via WinSCP en authorized_keys.
Ensuite, tu n'as qu'à l'éditer (via WinSCP il y a un éditeur, sinon via la commande nano ou vim en SSH), supprimer les lignes (chaque ligne correspond à une clé) que tu veux enlever et ajouter la clé publique du périphérique qui veut se connecter (si tu as généré ta clé par Putty, tu lances PUTTYgen et tu cliques sur "Load" pour sélectionner ta clé privée, dans le premier cadre tu verras la clé publique, c'est ce que tu dois copier dans le fichier authorized_keys).
Dernière remarque par rapport à ta commande mkdir, c'est normal que ça ne marche pas, il faut ajouter -p si tu souhaites créer un fichier dans un répertoire en cascade.