Krita-ai-diffusion: un plugin open source pour la création d'images avec l'IA dans Krita est publié

Tandis que l'équipe derrière Krita a affiché une posture anti-IA en soutien aux créateurs d'images

Krita est un logiciel de peinture numérique gratuit et open source, utilisé par de nombreux artistes professionnels et amateurs. Il offre une variété d’outils et de fonctionnalités pour créer des œuvres d’art de qualité. Mais que se passerait-il si vous pouviez utiliser l’intelligence artificielle pour vous aider à peindre ?

Krita est l'outil d'édition et de retouche d'image matricielle inclus dans le projet KDE. Initialement inspiré de logiciels tels que GIMP ou Adobe Photoshop, il s'est ensuite orienté pour la peinture numérique et l'animation 2D. C'est un logiciel libre, gratuit et open source sous licence GNU GPL. Depuis 2012, une fondation supervise son développement.

Acly a développé un plugin, baptisé krita-ai-diffusion, qui permet de générer des images avec l’IA dans Krita. Ce plugin utilise un modèle d’IA appelé diffusion stable, qui peut créer des images réalistes à partir de mots ou de croquis. Il suffit de sélectionner une zone, d’appuyer sur un bouton, et le plugin remplit la zone avec du contenu qui correspond à votre image. Vous pouvez aussi utiliser des textes simples pour orienter la génération, ou étendre votre toile et remplir les zones vides avec du contenu qui se fond dans l’image existante.

Le plugin est conçu pour s’intégrer à un flux de travail interactif, où la génération par l’IA est utilisée comme un outil parmi d’autres. Il est compatible avec les outils traditionnels et la pile de calques de Krita. Il offre également des fonctionnalités avancées, comme la possibilité de guider la création d’image avec des esquisses, des cartes de profondeur, des cartes normales, des poses de personnages ou des cartes de segmentation. Il permet aussi de travailler à n’importe quelle résolution, et d’augmenter la qualité des images avec un upscaling intelligent.

Pour utiliser le plugin, il faut installer Krita, télécharger le plugin sur GitHub, et le copier dans le dossier pykrita de votre système. Il faut ensuite activer le plugin dans le menu des plugins Python de Krita, et redémarrer le logiciel. Le plugin nécessite également un serveur backend qui fait le calcul avec l’IA. Vous pouvez utiliser un serveur local sur votre ordinateur, ou un serveur externe sur Google Colab. Le plugin fournit des instructions détaillées pour configurer le serveur backend.

Krita-ai-diffusion est un plugin innovant et créatif, qui ouvre de nouvelles possibilités pour les artistes. Il permet de gagner du temps, de combler les lacunes, de stimuler l’imagination, et de créer des images uniques avec l’IA. Il est gratuit, open source, et facile à utiliser. Si vous êtes intéressé par la peinture numérique et l’IA, n’hésitez pas à essayer ce plugin et à partager vos créations !


Fonctionnement

Le plugin Krita AI Diffusion propose quatre modes principaux :

• Inpaint : Permet de remplir une zone sélectionnée avec du contenu généré qui correspond à l’image. On peut utiliser un texte simple pour orienter la génération.
• Outpaint : Permet d’étendre le canevas, de sélectionner une zone vide et de la remplir automatiquement avec du contenu qui se fond dans l’image existante.
• Generate : Permet de créer de nouvelles images à partir de zéro en les décrivant avec des mots ou des images existantes. Supporte les modèles SD1.5 et SDXL.
• Refine : Permet d’utiliser le curseur de force pour affiner le contenu existant de l’image au lieu de le remplacer entièrement. Cela fonctionne aussi bien pour ajouter de nouvelles choses à une image en peignant une approximation grossière et en la raffinant à haute force.
  

Le plugin Krita AI Diffusion offre également des options avancées pour contrôler la création d’images :
[LIST][*]Control : Permet de guider la création d’images directement avec des croquis ou des traits. On peut utiliser des cartes de profondeur ou des cartes normales provenant d’images existantes ou de scènes 3D. On peut transférer la pose d’un personnage à partir de photos. On peut contrôler la composition avec des cartes de segmentation.[*]Resolutions : Permet de travailler efficacement à n’importe quelle résolution. Le plugin ajustera automatiquement les résolutions appropriées pour le modèle d’IA, et les mettra à l’échelle pour s’adapter à la région de l’image.[*]Upscaling : Permet d’augmenter la résolution et d’enrichir les images jusqu’à 4k, 8k et au-delà sans manquer de...