Krita est un logiciel de peinture numérique gratuit et open source, utilisé par de nombreux artistes professionnels et amateurs. Il offre une variété d’outils et de fonctionnalités pour créer des œuvres d’art de qualité. Mais que se passerait-il si vous pouviez utiliser l’intelligence artificielle pour vous aider à peindre ?Krita est l'outil d'édition et de retouche d'image matricielle inclus dans le projet KDE. Initialement inspiré de logiciels tels que GIMP ou Adobe Photoshop, il s'est ensuite orienté pour la peinture numérique et l'animation 2D. C'est un logiciel libre, gratuit et open source sous licence GNU GPL. Depuis 2012, une fondation supervise son développement.
Acly a développé un plugin, baptisé krita-ai-diffusion, qui permet de générer des images avec l’IA dans Krita. Ce plugin utilise un modèle d’IA appelé diffusion stable, qui peut créer des images réalistes à partir de mots ou de croquis. Il suffit de sélectionner une zone, d’appuyer sur un bouton, et le plugin remplit la zone avec du contenu qui correspond à votre image. Vous pouvez aussi utiliser des textes simples pour orienter la génération, ou étendre votre toile et remplir les zones vides avec du contenu qui se fond dans l’image existante.
Le plugin est conçu pour s’intégrer à un flux de travail interactif, où la génération par l’IA est utilisée comme un outil parmi d’autres. Il est compatible avec les outils traditionnels et la pile de calques de Krita. Il offre également des fonctionnalités avancées, comme la possibilité de guider la création d’image avec des esquisses, des cartes de profondeur, des cartes normales, des poses de personnages ou des cartes de segmentation. Il permet aussi de travailler à n’importe quelle résolution, et d’augmenter la qualité des images avec un upscaling intelligent.
Pour utiliser le plugin, il faut installer Krita, télécharger le plugin sur GitHub, et le copier dans le dossier pykrita de votre système. Il faut ensuite activer le plugin dans le menu des plugins Python de Krita, et redémarrer le logiciel. Le plugin nécessite également un serveur backend qui fait le calcul avec l’IA. Vous pouvez utiliser un serveur local sur votre ordinateur, ou un serveur externe sur Google Colab. Le plugin fournit des instructions détaillées pour configurer le serveur backend.
Krita-ai-diffusion est un plugin innovant et créatif, qui ouvre de nouvelles possibilités pour les artistes. Il permet de gagner du temps, de combler les lacunes, de stimuler l’imagination, et de créer des images uniques avec l’IA. Il est gratuit, open source, et facile à utiliser. Si vous êtes intéressé par la peinture numérique et l’IA, n’hésitez pas à essayer ce plugin et à partager vos créations !
Fonctionnement
Le plugin Krita AI Diffusion propose quatre modes principaux :
- Inpaint : Permet de remplir une zone sélectionnée avec du contenu généré qui correspond à l’image. On peut utiliser un texte simple pour orienter la génération.
- Outpaint : Permet d’étendre le canevas, de sélectionner une zone vide et de la remplir automatiquement avec du contenu qui se fond dans l’image existante.
- Generate : Permet de créer de nouvelles images à partir de zéro en les décrivant avec des mots ou des images existantes. Supporte les modèles SD1.5 et SDXL.
- Refine : Permet d’utiliser le curseur de force pour affiner le contenu existant de l’image au lieu de le remplacer entièrement. Cela fonctionne aussi bien pour ajouter de nouvelles choses à une image en peignant une approximation grossière et en la raffinant à haute force.
Le plugin Krita AI Diffusion offre également des options avancées pour contrôler la création d’images :
- Control : Permet de guider la création d’images directement avec des croquis ou des traits. On peut utiliser des cartes de profondeur ou des cartes normales provenant d’images existantes ou de scènes 3D. On peut transférer la pose d’un personnage à partir de photos. On peut contrôler la composition avec des cartes de segmentation.
- Resolutions : Permet de travailler efficacement à n’importe quelle résolution. Le plugin ajustera automatiquement les résolutions appropriées pour le modèle d’IA, et les mettra à l’échelle pour s’adapter à la région de l’image.
- Upscaling : Permet d’augmenter la résolution et d’enrichir les images jusqu’à 4k, 8k et au-delà sans manquer de mémoire.
Quels sont les avantages de Krita AI Diffusion ?
Krita AI Diffusion présente plusieurs avantages pour les artistes qui utilisent Krita :
- Il est gratuit et open source, ce qui signifie qu’on peut l’utiliser sans frais et sans restrictions, et qu’on peut contribuer à son amélioration ou à son adaptation.
- Il est facile à installer et à utiliser, il suffit de suivre les instructions sur le site GitHub du plugin. On peut aussi utiliser un serveur Google Colab pour faire fonctionner le plugin sans avoir besoin d’un ordinateur puissant.
- Il est intégré à Krita, ce qui signifie qu’on peut l’utiliser comme un outil parmi d’autres dans le processus de peinture. Il est compatible avec les outils et la pile de calques de Krita.
- Il est interactif et créatif, ce qui signifie qu’on peut expérimenter avec différents paramètres, textes, images, et voir les résultats en temps réel. On peut aussi combiner les résultats avec d’autres éléments pour créer des œuvres originales et uniques.
Krita AI Diffusion peut être utilisé pour différents types de projets artistiques, tels que :
- La création de paysages, de personnages, d’objets, d’animaux, etc. à partir de descriptions textuelles ou d’images de référence.
- La modification ou la correction d’images existantes, en supprimant ou en ajoutant des éléments, en changeant les couleurs, les textures, les lumières, etc.
- L’augmentation de la résolution et de la qualité d’images basse définition, en les rendant plus nettes, plus détaillées, plus réalistes, etc.
- L’exploration de nouvelles idées, de nouveaux styles, de nouvelles combinaisons, en mélangeant des éléments de différentes sources, en utilisant des textes originaux, en jouant avec les paramètres, etc.
Krita-ai-diffusion : un plugin prometteur mais perfectible
Le plugin krita-ai-diffusion est une initiative intéressante qui vise à intégrer l’IA dans le processus créatif des artistes. Il offre une nouvelle façon de générer des images avec l’IA, en se basant sur des mots, des croquis, ou des images existantes. Il permet ainsi de créer des images réalistes, variées, et originales, qui peuvent servir de base ou d’inspiration pour les artistes.
Toutefois, le plugin n’est pas exempt de défauts et de limites. Il présente notamment les inconvénients suivants :
- Il nécessite un serveur backend qui fait le calcul avec l’IA, ce qui peut être compliqué à installer et à configurer pour les utilisateurs novices ou non-techniques. Il peut aussi poser des problèmes de sécurité, de confidentialité, ou de performance, selon le type de serveur utilisé.
- Il dépend d’un modèle d’IA qui n’est pas spécifique à Krita, ni à la peinture numérique. Il utilise un modèle générique de diffusion stable, qui peut créer des images de n’importe quel domaine, mais qui n’est pas optimisé pour la qualité, la cohérence, ou la diversité des images générées. Il peut donc produire des images floues, incohérentes, ou répétitives, qui ne correspondent pas aux attentes ou aux besoins des artistes.
Conclusion
Krita AI Diffusion est un plugin innovant et puissant pour Krita qui permet de générer des images à partir de l’intelligence artificielle. Il offre de nombreuses fonctionnalités et options pour faciliter et accélérer le processus de création artistique. Il est gratuit, open source, facile à installer et à utiliser, intégré à Krita, interactif et créatif. Il peut être utilisé pour différents types de projets artistiques, tels que la création, la modification, l’augmentation ou l’exploration d’images. Il est un outil utile et amusant pour les artistes de tous les niveaux d’expérience.
Des voix dans la communauté Krita, ainsi que dans l'équipe de développement, s'élèvent contre l'IA
Sur le site Krita-Artists, il est indiqué :
En soutien à la protection des artistes et des droits d’auteur, les administrateurs du forum Krita-artists.org, les modérateurs et l’équipe Krita – après une discussion – sont parvenus à la décision que nous n’autoriserons plus les publications faisant la promotion des outils d’IA. Cela inclut les plugins dont l'objectif est d'ajouter une IA générative à Krita. Pour cette raison, plusieurs sujets seront supprimés du forum et tous les futurs sujets seront supprimés.
Les utilisateurs peuvent publier du contenu faisant référence à l'IA tout en ayant une discussion sur l'IA, mais le forum ne sera pas ouvert aux sujets contenant des images générées par l'IA dans la section des illustrations ni aux messages faisant la promotion de plugins de génération d'images IA pour Krita. Nous demandons à nos utilisateurs de signaler tout contenu IA de cette nature.
Ce changement aligne le forum sur la position adoptée par l'équipe Krita depuis l'apparition des générateurs d'images IA sur Internet. Nous voulons être clairs sur le fait que l’équipe Krita ne prend pas en charge l’IA dans son état actuel.
Interdire ces sujets n’empêchera en aucun cas les développeurs de plugins de poursuivre leur travail. Ils sont libres de promouvoir et de développer des plugins pour Krita, nous ne voulons tout simplement pas en faire partie.
Nous espérons que vous comprendrez pourquoi les sujets existants ont été supprimés et nous demandons à nos membres de nous aider à l'avenir en soutenant cette décision. Les images IA ont toujours été interdites, mais nous regrettons d'avoir autorisé les publications sur les plugins IA et considérons cela comme une erreur que nous devions corriger.
Les utilisateurs peuvent publier du contenu faisant référence à l'IA tout en ayant une discussion sur l'IA, mais le forum ne sera pas ouvert aux sujets contenant des images générées par l'IA dans la section des illustrations ni aux messages faisant la promotion de plugins de génération d'images IA pour Krita. Nous demandons à nos utilisateurs de signaler tout contenu IA de cette nature.
Ce changement aligne le forum sur la position adoptée par l'équipe Krita depuis l'apparition des générateurs d'images IA sur Internet. Nous voulons être clairs sur le fait que l’équipe Krita ne prend pas en charge l’IA dans son état actuel.
Interdire ces sujets n’empêchera en aucun cas les développeurs de plugins de poursuivre leur travail. Ils sont libres de promouvoir et de développer des plugins pour Krita, nous ne voulons tout simplement pas en faire partie.
Nous espérons que vous comprendrez pourquoi les sujets existants ont été supprimés et nous demandons à nos membres de nous aider à l'avenir en soutenant cette décision. Les images IA ont toujours été interdites, mais nous regrettons d'avoir autorisé les publications sur les plugins IA et considérons cela comme une erreur que nous devions corriger.
Et vous ?
Comprenez-vous la position de l'équipe Krita ? Dans quelle mesure ? Que pensez-vous de l’utilisation de l’IA dans la peinture numérique ? Est-ce une aide ou une triche ? Avez-vous déjà essayé le plugin krita-ai-diffusion ou un autre plugin similaire ? Quelles sont vos impressions et vos expériences ? Quels sont les critères de qualité et de créativité pour évaluer les images générées par l’IA ? Comment les comparer aux images créées par les artistes humains ? Quels sont les risques et les opportunités de l’IA pour les artistes et le domaine de l’art ? Comment protéger les droits d’auteur et la propriété intellectuelle ? Quelles sont les améliorations ou les fonctionnalités que vous souhaiteriez voir dans le plugin krita-ai-diffusion ou dans d’autres plugins similaires ?