OpenAI lance un outil capable de détecter les images créées par son générateur de texte à image DALL-E 3, a déclaré le mardi 7 mai la startup soutenue par Microsoft, alors que l'on s'inquiète de plus en plus de l'influence du contenu généré par l'IA dans les élections mondiales de cette année.La société a déclaré que l'outil identifiait correctement les images créées par DALL-E 3 dans environ 98 % des cas lors de tests internes et qu'il pouvait gérer des modifications courantes telles que la compression, le recadrage et les changements de saturation avec un impact minimal.
Le créateur de ChatGPT prévoit également d'ajouter un filigrane inviolable pour marquer les contenus numériques tels que les photos ou les fichiers audio à l'aide d'un signal qui devrait être difficile à supprimer.
Dans le cadre de ses efforts, OpenAI a également rejoint un groupe industriel comprenant Google, Microsoft et Adobe et prévoit de fournir une norme qui aiderait à retracer l'origine des différents médias.
En avril, pendant les élections générales en cours en Inde, de fausses vidéos de deux acteurs de Bollywood critiquant le premier ministre Narendra Modi sont devenues virales en ligne.
Les contenus générés par l'IA et les « deepfakes » sont de plus en plus utilisés en Inde et lors d'élections ailleurs dans le monde, notamment aux États-Unis, au Pakistan et en Indonésie.
OpenAI a déclaré qu'elle se joignait à Microsoft pour lancer un fonds de « résilience sociétale » de 2 millions de dollars afin de soutenir l'éducation à l'IA.
L'annonce par OpenAI des outils de détection des contenus générés par sa technologie est présentée ci-dessous :
Comprendre la source de ce que nous voyons et entendons en ligne
OpenAI introduit de nouveaux outils pour aider les chercheurs à étudier l'authenticité des contenus et rejoint le comité directeur de la Coalition for Content Provenance and Authenticity (Coalition pour la provenance et l'authenticité des contenus).
Partout dans le monde, les gens adoptent l'IA générative pour créer et éditer des images, des vidéos et du son de manière à stimuler la créativité, la productivité et l'apprentissage. Le contenu audiovisuel généré devenant de plus en plus courant, OpenAI pense qu'il sera de plus en plus important pour la société dans son ensemble d'adopter de nouvelles technologies et normes qui aideront les gens à comprendre les outils utilisés pour créer le contenu qu'ils trouvent en ligne.
OpenAI relève ce défi de deux manières : premièrement, en s'associant à d'autres pour adopter, développer et promouvoir une norme ouverte qui peut aider les gens à vérifier les outils utilisés pour créer ou éditer de nombreux types de contenu numérique, et deuxièmement, en créant une nouvelle technologie qui aide spécifiquement les gens à identifier le contenu créé par nos propres outils.
Contribuer aux normes d'authenticité
Le monde a besoin de moyens communs pour partager des informations sur la façon dont le contenu numérique a été créé. Les normes peuvent aider à clarifier la façon dont le contenu a été créé et à fournir d'autres informations sur ses origines d'une manière facile à reconnaître dans de nombreuses situations - que ce contenu soit la sortie brute d'un appareil photo ou une création artistique d'un outil tel que DALL-E 3.
Aujourd'hui, OpenAI rejoint le comité directeur de la C2PA, la Coalition for Content Provenance and Authenticity (Coalition pour la provenance et l'authenticité des contenus). La C2PA est une norme largement utilisée pour la certification des contenus numériques, développée et adoptée par un large éventail d'acteurs, dont des éditeurs de logiciels, des fabricants de caméras et des plateformes en ligne. La C2PA peut être utilisée pour prouver que le contenu provient d'une source particulière. OpenAI se réjouit de pouvoir contribuer au développement de cette norme, qu'elle considère comme un aspect important de son approche.
Au début de cette année, OpenAI a commencé à ajouter des métadonnées C2PA à toutes les images créées et éditées par DALL-E 3, son dernier modèle d'image, dans ChatGPT et l'API OpenAI. Elle intégrera les métadonnées C2PA pour Sora, son modèle de génération de vidéos, lorsque ce dernier sera lancé à grande échelle.
Il est toujours possible de créer des contenus trompeurs sans ces informations (ou de les supprimer), mais il n'est pas facile de les falsifier ou de les modifier, ce qui en fait une ressource importante pour instaurer la confiance. Au fur et à mesure de l'adoption de la norme, ces informations peuvent accompagner le contenu tout au long de son cycle de vie, qu'il s'agisse du partage, de la modification ou de la réutilisation. Au fil du temps, OpenAI pense que ce type de métadonnées sera attendu par les utilisateurs et comblera une lacune cruciale dans les pratiques d'authentification des contenus numériques.
Pour favoriser l'adoption et la compréhension des normes de provenance, y compris la C2PA, OpenAI s'associe à Microsoft pour lancer un fonds de résilience sociétale. Ce fonds de 2 millions de dollars soutiendra l'éducation et la compréhension de l'IA, notamment par l'intermédiaire d'organisations telles que Older Adults Technology Services de l'AARP, International IDEA et Partnership on AI.
Ce qu'OpenAI est en train de construire : de nouveaux outils pour identifier le contenu créé par ses services
Outre ses investissements dans la C2PA, OpenAI développe également de nouvelles méthodes de provenance afin d'améliorer l'intégrité des contenus numériques. Il s'agit notamment de mettre en œuvre un filigrane infalsifiable - marquant le contenu numérique tel que l'audio avec un signal invisible qui vise à être difficile à supprimer - ainsi que des classificateurs de détection - des outils qui utilisent l'intelligence artificielle pour évaluer la probabilité qu'un contenu provienne de modèles génératifs. Ces outils visent à mieux résister aux tentatives de suppression des signaux relatifs à l'origine du contenu.
À partir d'aujourd'hui, OpenAI ouvre les demandes d'accès à son classificateur de détection d'images à son premier groupe de testeurs - notamment des laboratoires de recherche et des organisations à but non lucratif de journalisme axées sur la recherche - pour obtenir des commentaires dans le cadre de son programme d'accès pour les chercheurs. Cet outil prédit la probabilité qu'une image ait été générée par DALL-E 3 d'OpenAI. L'objectif est de permettre une recherche indépendante qui évalue l'efficacité du classificateur, analyse son application dans le monde réel, met en évidence les considérations pertinentes pour une telle utilisation et explore les caractéristiques du contenu généré par l'IA.
Comprendre quand et où un classificateur peut être moins performant est essentiel pour ceux qui prennent des décisions sur la base de ses résultats. Les tests internes effectués sur une première version du classificateur d'OpenAI ont montré une grande précision dans la distinction entre les images non générées par l'IA et celles créées par les produits DALL-E 3. Le classificateur identifie correctement les images générées par DALL-E 3 et ne se déclenche pas pour les images non générées par l'IA. Il a identifié correctement environ 98 % des images DALL-E 3 et moins de 0,5 % des images non générées par l'IA ont été incorrectement étiquetées comme provenant de DALL-E 3. Le classificateur gère les modifications courantes telles que la compression, le recadrage et les changements de saturation avec un impact minimal sur ses performances. D'autres modifications, en revanche, peuvent réduire ses performances. OpenAI a également constaté que les performances du classificateur pour la distinction entre les images générées par DALL-E 3 et d'autres modèles d'IA sont plus faibles et le classificateur marque actuellement ~5-10 % des images générées par d'autres modèles d'IA sur son ensemble de données interne.
En outre, OpenAI a également intégré le filigrane audio dans Voice Engine, son modèle vocal personnalisé, qui fait actuellement l'objet d'une étude préliminaire limitée. Elle s'est engagée à poursuivre ses recherches dans ces domaines afin de s'assurer que ses avancées en matière de technologies audio sont tout aussi transparentes et sûres.
L'avenir de l'authentification du contenu
Si les solutions techniques décrites ci-dessus donnent à OpenAI des moyens de défense actifs, la mise en œuvre effective de l'authentification des contenus nécessitera une action collective. Par exemple, les plateformes, les créateurs de contenu et les gestionnaires intermédiaires doivent faciliter la conservation des métadonnées afin d'assurer la transparence de la source du contenu pour le consommateur final.
Les efforts d'OpenAI en matière de provenance ne sont qu'une partie d'un effort plus large de l'industrie - beaucoup des laboratoires de recherche des pairs et des entreprises d'IA générative font également progresser la recherche dans ce domaine. OpenAI salue ces efforts - le secteur doit collaborer et partager ses connaissances pour améliorer notre compréhension et continuer à promouvoir la transparence en ligne.
Source : "Understanding the source of what we see and hear online" (OpenAI)
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous cette initiative d'OpenAI crédible ou pertinente ?Voir aussi :
OpenAI dévoile ses plans de lutte contre les abus avant les élections américaines de 2024, en s'appuyant sur des programmes de vérification des informations et d'authenticité des images OpenAI développe un logiciel pour détecter le texte généré par ChatGPT, plusieurs outils visent à déterminer quels textes ont été générés par IA et lesquels ont été écrits par des humains