GAN exploite deux modèles collaboratifs d'apprentissage machine. Le premier modèle génère des images sur base de textes, et l'autre juge la qualité des illustrations produites. Conjointement, les deux modèles créent pixel après pixel une image unique pertinente en combinaison avec le texte saisi. De plus, chaque nouveau résultat généré par le logiciel contribue à la qualité des images suivantes.

Les chercheurs affirment dans le rapport que leur 'drawing bot' produit parfois des éléments supplémentaires non mentionnés explicitement dans le texte saisi. Microsoft cite ainsi l'exemple d'un oiseau jaune. Même si l'utilisateur n'entre pas explicitement dans la saisie du texte : "un oiseau jaune sur une branche", il y a néanmoins de fortes chances pour que le 'drawing bot' génère l'image d'un oiseau jaune perché sur une branche. De nombreux exemples d'illustrations jugés par le logiciel montreront en effet un oiseau sur une branche.

Selon Microsoft, le nouveau logiciel n'est pas encore entièrement au point, parce que des choses assez complexes qui sont présentées au 'drawing bot' ne fournissent pas toujours des images pertinentes. Il n'empêche que les chercheurs estiment que la technologie pourrait à terme être utilisée sous forme d'un logiciel d'assistance pour les peintres et les designers.

Précédemment, l'entreprise de Redmond avait développé une technologie baptisée 'CaptionBot'. Celle-ci faisait précisément l'inverse : générer des textes pertinents sur base d'images.

Sebastien Marien, Data News