Contrôlez votre avatar 3D en langage naturel : dites adieu aux boutons, les actions complexes s’exécutent à la voix

Dans la plupart des applications et jeux 3D, pour faire bouger un personnage virtuel, il faut mémoriser des dizaines de raccourcis ou piocher sans cesse dans des menus prédéfinis. Aujourd’hui, un développeur brise cette rigidité avec une nouvelle approche qui permet de contrôler un avatar 3D en langage naturel. S’appuyant sur son précédent framework Programasweights, il a construit un humain virtuel capable de répondre en temps réel à des instructions complexes, simplement décrites en anglais. Sans toucher le moindre bouton, il suffit de dire « avance en saluant, puis fais deux petits sauts » pour que le personnage exécute parfaitement la séquence.

Briser le carcan du préfabriqué : du clic sur un bouton à l’interface par la langue

Le contrôle traditionnel des avatars 3D repose lourdement sur des machines à états finis et des bibliothèques de capture de mouvement. Toute combinaison non préalablement scriptée — par exemple faire s’accroupir et pivoter un personnage en pleine course — implique une re-programmation fastidieuse. La démonstration publiée sur programasweights.com/avatar confie quant à elle entièrement le contrôle à la langue. Elle fait du langage naturel l’interface de saisie la plus efficace : le système comprend les logiques de « en même temps », « ensuite », « à plusieurs reprises » et synthétise directement des mouvements dynamiques qui n’ont jamais été codés en dur. C’est plus qu’une simple évolution de l’interaction, c’est une libération totale de l’imaginaire des créateurs.

Le cœur Programasweights : comment une description en langue se compile en temps réel en programme moteur neuronal

Derrière ce miracle se cache Programasweights, un outil capable de compiler une description en anglais ordinaire directement en poids de réseau de neurones. Dans le scénario de contrôle d’avatar, lorsque le système reçoit une instruction comme « wave while walking, then jump a couple times », il ne va pas chercher des clips d’animation existants, mais génère, via un grand modèle de langage et des techniques de synthèse par programme, un programme neuronal léger. Celui-ci pilote le squelette en temps réel, mêle dynamiquement le rythme du salut et de la marche, puis enchaîne avec fluidité sur une boucle de saut, tous les signaux étant produits de manière continue, sans la moindre trace de raccord. Comme le mouvement émerge directement de la sémantique de la langue, le personnage comprend et exécute même des combinaisons totalement absentes des données d’entraînement.

Des séquences complexes en un seul plan : le potentiel infini de l’animation pilotée par la langue

Ce qui frappe le plus avec cette animation pilotée par la langue, c’est la réalisation instantanée de séquences complexes. On peut ordonner à un personnage de « se promener avec arrogance, s’arrêter tous les trois pas pour applaudir », ou de « se glisser discrètement, puis faire une grande pirouette en sautant ». Ces actions continues, imbriquées et teintées d’émotion exigent habituellement que les animateurs peaufinent sans relâche les machines à états, alors que la nouvelle approche ne demande qu’une seule saisie. Le développeur souligne tout particulièrement la capacité de généralisation zéro-shot du système sur les instructions combinées, ce qui le rend bien supérieur à n’importe quelle macro commande à base de boutons : ce que l’on voit est vraiment ce que l’on dit.

Le futur est déjà là : PNJ de jeux vidéo, idoles virtuelles et nouvelle porte d’entrée interactive du métavers

Une fois démocratisée, cette technologie va redessiner plusieurs industries. Les développeurs de jeux pourront s’en servir pour créer des PNJ qui comprennent les instructions tapées par les joueurs, renforçant ainsi l’immersion. Les streamers virtuels et les exploitants d’humains numériques n’auront qu’à taper une description de performance pour générer des mouvements scéniques riches et nuancés. Dans le métavers, chaque utilisateur pourra piloter son propre avatar dans sa langue maternelle la plus naturelle, comme s’il parlait à une personne, sans avoir à apprendre la moindre interface. Cette présentation de Programasweights n’est pas qu’une démonstration impressionnante ; elle indique clairement la voie de la prochaine génération d’interaction humain-machine : lorsque la langue devient le canal de commande le plus direct, le mur entre la créativité et l’existence numérique s’effondre totalement. Peut-être que très bientôt, « le faire bouger d’une simple phrase » deviendra le réglage par défaut de toutes les expériences virtuelles.