Microsoft met au point une IA qui restaure automatiquement les vieilles photos endommagées en éliminant les dégradations et les rayures,

Si vous avez de vieilles photos gravement endommagées, elles pourraient retrouver un coup de neuf en utilisant le nouvel outil basé sur l’IA mis en place par Microsoft et une équipe d’universitaires. Il utilise l’apprentissage profond pour redonner vie aux photos dégradées, notamment un réseau de traduction de domaine en triplet en exploitant des photos réelles ainsi que des paires d'images synthétiques massives. Les auteurs ont publié sur Colab, l’outil de partage de connaissances sur l'apprentissage automatique de Google, une mise en œuvre de référence pour vous aider à démarrer.

L’outil de retouche de photos a été conçu par une équipe de chercheurs de Microsoft Research Asia, Microsoft Cloud AI, USTC (University of Science and Technology of China) et du CityU (City University of Hong Kong). Elle a expliqué dans un premier temps que contrairement aux opérations de restauration classiques qu’on peut résoudre en utilisant un apprentissage supervisé, la dégradation des photos réelles est complexe et l'écart de domaine entre les images synthétiques et les photos anciennes réelles fait que le réseau ne parvient pas à généraliser.

Pour cette raison, elle propose une nouvelle technique de restauration de photos basée sur l’apprentissage profond. Il s’agit d’un nouveau réseau de translation de domaine en triplet qui exploite des photos réelles ainsi que des paires d'images synthétiques massives. En d’autres termes, l’équipe a formé deux autocodeurs variationnels (VAE) permettant de transformer respectivement les vieilles photos et les photos propres en deux espaces latents. Et la translation entre ces deux espaces latents est apprise à l'aide de données synthétiques appariées.


Selon l’équipe, cette translation se généralise bien aux photos réelles, car l'écart de domaine est fermé dans l'espace latent compact. En outre, pour traiter efficacement les dégradations multiples mélangées dans une vieille photo, elle conserve une branche globale avec un bloc partiel non local qui cible les défauts structurés, tels que les rayures et les taches de poussière, et une branche locale ciblant les défauts non structurés, tels que les bruits et le flou. Ensuite, les deux branches sont fusionnées dans l'espace latent, ce qui améliore la capacité de restauration de vieilles photos à partir de défauts multiples.

Selon l’équipe, la méthode qu’elle a proposée est plus performante que les techniques de pointe en matière de qualité visuelle pour la restauration de vieilles photos. À part éliminer les dégradations présentes sur une photo, l’outil permet aussi d'éliminer les rayures qu’elle contient. Enfin, il permet également d’améliorer le ou les visages sur la photo. Il utilise pour cela un générateur progressif pour affiner les zones de visage. Les codes de l’outil et le modèle préformé sont disponibles sur GitHub sous licence MIT.

Sources : Ropport de l’étude (version journal), Page GitHub de l’outil, Présentation de l’outil, Page Colab de l’outil

Et vous ?

Qu'en pensez-vous ?

Voir aussi

Samsung a créé un nouveau logiciel qui utilise l'IA et l'appareil photo de votre téléphone pour suivre les mouvements de vos doigts pendant qu'ils tapent sur un clavier invisible en face de vous

Ce site montre des portraits de visages humains générés par une IA. Aucun d'entre eux n'est réel. Actualisez la page pour en voir un nouveau

L'IA peut-elle prédire qu'un tiers sera criminel sur la base d'une photo ? Oui, avec une précision de 80 % et sans biais racial, selon une étude retirée d'Internet en raison de la controverse