Un nouveau dépôt open source vous permet de comparer les invites système de 45 modèles d'IA

Un dépôt GitHub fraîchement publié, repéré il y a à peine une heure, vise à lever le voile sur l'une des couches les moins visibles de l'IA générative : l'invite système. Baptisé System-Prompt-Open, le projet rassemble plus de 45 invites système provenant de modèles et d'outils tels que Cursor, Lovable, Perplexity, v0 et Trae, offrant une galerie en direct, un article de recherche associé et un jeu de données ouvert conçu spécifiquement pour l'analyse des invites, la recherche en sécurité et les tests d'intrusion (red-teaming).

Le dépôt, créé sous le pseudonyme pinchhitterequatorialcurrent101, ne compte qu'une seule étoile au moment où nous écrivons ces lignes. Mais son ambition est vaste : il aborde l'ingénierie des invites, l'extraction d'invites, la fusion d'invites, le comportement des systèmes multi-agents et la sécurité des LLM — autant de sujets qui sont au cœur de la manière dont les applications d'IA en production sont conçues et compromises aujourd'hui.

Ce que contient réellement le dépôt

D'après sa description publiée et les sujets étiquetés, le projet s'articule autour de trois ressources principales :

• Une galerie en direct qui permet aux visiteurs de parcourir et de comparer les invites système de dizaines de modèles côte à côte — sans aucune installation locale requise.
• Un article de recherche associé qui semble présenter les résultats de manière académique, bien que sa méthodologie et son statut d'évaluation par les pairs ne soient pas encore détaillés dans les métadonnées du dépôt.
• Un jeu de données ouvert destiné à être réutilisé pour l'analyse d'invites en aval, les expériences d'extraction et les flux de travail de tests de sécurité.

Le dépôt est principalement écrit en HTML, ce qui suggère que la galerie en direct elle-même pourrait être une interface web statique plutôt qu'une pile applicative lourde. Les balises thématiques révèlent les domaines spécifiques d'intérêt : agents, systèmes multi-agents, sécurité des LLM, ingénierie des invites, extraction d'invites, fusion d'invites et red-teaming, ainsi que des balises spécifiques aux outils pour Cursor, Lovable, Perplexity, v0, Trae et Cluely.

Pourquoi la comparaison des invites système est cruciale en ce moment

Les invites système sont les instructions cachées qui façonnent le comportement d'un modèle d'IA avant même que l'utilisateur ne tape un seul mot. Elles définissent le ton, contraignent les sorties, établissent les règles d'utilisation des outils et gouvernent de plus en plus les flux de travail agentiques. Pourtant, elles ne sont presque jamais divulguées par les entreprises qui commercialisent ces produits. Cette opacité crée de véritables problèmes en aval :

• Angles morts de sécurité. Sans connaître les garde-fous existants, les équipes de red-teaming et les chercheurs en sécurité doivent rétro-concevoir le comportement depuis l'extérieur, ce qui est lent et sujet aux erreurs.
• Verrouillage propriétaire par l'obscurité. Lorsque l'invite système d'un outil contient une logique d'orchestration propriétaire, migrer vers un autre modèle ou une autre plateforme devient plus difficile car le contrat comportemental n'est pas documenté.
• Évaluation incohérente. Si deux modèles répondent différemment à la même question, est-ce dû au modèle de base, à l'invite système ou à l'échafaudage d'utilisation des outils ? Sans transparence des invites, l'attribution n'est que conjecture.

Un jeu de données de comparaison centralisé et ouvert — même à un stade précoce — pourrait aider les développeurs et les chercheurs à isoler ces variables. C'est le manque concret que ce dépôt tente de combler.

Qui devrait y prêter attention

Ce projet n'est pas un lancement de produit abouti. C'est une ressource orientée recherche qui résonnera le plus auprès d'un public spécifique :

• Les fondateurs d'IA et les constructeurs de produits qui ont besoin de comprendre comment les modèles de leurs concurrents orientent le comportement en coulisses, en particulier lors de la construction de flux de travail agentiques ou multi-modèles.
• Les ingénieurs d'invites et les praticiens des opérations LLM qui souhaitent disposer d'une bibliothèque de référence de modèles d'invites système du monde réel plutôt que d'exemples synthétiques issus de la documentation.
• Les chercheurs en sécurité et les équipes de red-teaming à la recherche d'un jeu de données structuré pour tester les techniques d'injection, d'extraction et de jailbreak d'invites par rapport à des modèles de garde-fous connus.
• Les créateurs d'outils pour développeurs évaluant comment les IDE et les assistants de codage (Cursor, Trae, Lovable) formulent leurs instructions au niveau système pour façonner le comportement de génération de code.

Pour les spécialistes du marketing soucieux du référencement et les stratèges de contenu, le dépôt offre également un aperçu rare de la manière dont différents outils d'IA se positionnent à travers leur couche d'instructions cachée — ce qui peut éclairer l'analyse concurrentielle de contenu.

Cas d'usage pratiques pour le jeu de données

Si le jeu de données publié est bien structuré, il pourrait servir plusieurs flux de travail concrets :

• Comparer les invites système entre les versions de modèles. Suivre comment un outil comme Cursor ou Perplexity modifie ses instructions comportementales au fil du temps, ce qui peut être corrélé à des changements de fonctionnalités ou des incidents de sécurité.
• Construire des détecteurs d'extraction d'invites. Utiliser les invites connues comme vérité terrain pour entraîner ou évaluer des outils qui détectent quand l'invite système d'un modèle a été exfiltrée avec succès.
• Étalonner le comportement des agents. Lors de l'évaluation de frameworks multi-agents, comparer les invites système utilisées par différents orchestrateurs pour comprendre comment ils répartissent les responsabilités entre les agents.
• Éclairer votre propre conception d'invites système. Pour les équipes qui construisent sur des API comme OpenAI API ou déploient des agents via le SDK OpenAI Agents, étudier comment les outils de production structurent leurs instructions peut faire émerger des modèles qui valent la peine d'être adoptés — ou délibérément évités.

Limitations et risques à garder à l'esprit

Le potentiel du dépôt est réel, mais plusieurs signaux d'alerte sont visibles à partir de ses métadonnées actuelles :

• Tout nouveau et non vérifié. Avec une seule étoile et une apparition il y a environ une heure, il n'y a pas eu de temps pour un examen par la communauté, une réplication ou une validation de l'authenticité des invites.
• Méthodologie d'extraction inconnue. Les balises thématiques du dépôt incluent prompt-extraction, ce qui implique que ces invites système ont été récupérées plutôt que divulguées officiellement. La légalité et la fiabilité des collectes basées sur l'extraction varient selon la juridiction et la technique.
• Aucune indication d'engagement de maintenance. Les dépôts à contributeur unique avec un cadrage académique tombent parfois en dormance après la publication de l'article associé. L'utilité à long terme dépend des mises à jour à mesure que les modèles évoluent.
• Risque d'invites obsolètes ou hallucinées. Sans confirmation des fournisseurs de modèles d'origine, certaines invites du jeu de données peuvent être incomplètes, obsolètes ou incorrectement attribuées.

Toute personne utilisant ce jeu de données pour des décisions de production devrait vérifier indépendamment les invites par ses propres tests avant de s'y fier.

Comment évaluer les outils d'IA sous l'angle de la sensibilisation aux invites

Que ce dépôt spécifique devienne ou non une ressource durable, il met en lumière une capacité de plus en plus importante lors de l'évaluation des outils d'IA pour votre pile technologique : la transparence des invites. Voici les questions à poser sur tout produit d'IA que vous envisagez :

• L'invite système est-elle divulguée ou documentée ? Certaines plateformes, comme les GPT personnalisés créés via GPTs by OpenAI, permettent aux créateurs de partager leurs instructions — mais la plupart des outils commerciaux ne le font pas.
• Pouvez-vous inspecter ou remplacer l'invite système via l'API ? Des outils comme l'API OpenAI donnent aux développeurs un contrôle total sur le champ de message système, ce qui est essentiel pour la reproductibilité et l'audit de sécurité.
• Que se passe-t-il lorsque l'invite système entre en conflit avec la saisie de l'utilisateur ? Tester cette frontière révèle à quel point les garde-fous d'un outil sont rigides ou flexibles, ce qui a des implications directes à la fois pour la sécurité et l'utilisabilité.
• Le fournisseur a-t-il un historique de fuites d'invites ou d'incidents d'extraction ? Un outil dont l'invite système a été extraite et publiée peut avoir une valeur de sécurité réduite, car les attaquants peuvent étudier ses contraintes hors ligne.

Pour les équipes qui construisent sur des services d'IA gérés, la disponibilité croissante de jeux de données de comparaison d'invites facilite l'audit des instructions cachées qui pourraient s'exécuter à l'intérieur des modèles dont vous dépendez — même lorsque les fournisseurs ne communiquent pas volontairement ces informations.

FAQ

Qu'est-ce qu'une invite système ?

Une invite système est un ensemble d'instructions initiales données à un grand modèle de langage qui définit son comportement, son ton, ses contraintes et ses règles d'utilisation des outils. Elle opère en arrière-plan et est généralement invisible pour les utilisateurs finaux.

Pourquoi comparer les invites système de différents modèles ?

Comparer les invites système aide les chercheurs à comprendre comment différents produits d'IA orientent le comportement des modèles, à identifier les modèles de sécurité et les faiblesses, et à construire de meilleures invites pour leurs propres applications.

Le jeu de données System-Prompt-Open est-il vérifié ou officiel ?

Non. Les invites semblent avoir été extraites plutôt que publiées officiellement par les fournisseurs de modèles. Une vérification indépendante est fortement recommandée avant d'utiliser les données à des fins de production.

Quels outils d'IA sont couverts par la comparaison ?

Les balises du dépôt font référence à Cursor, Lovable, Perplexity, v0, Trae et Cluely, entre autres. La liste complète des plus de 45 modèles devrait être disponible dans la galerie en direct et le jeu de données.

Ce type de jeu de données pourrait-il soulever des préoccupations juridiques ou éthiques ?

Oui. L'extraction d'invites peut violer les conditions d'utilisation de certaines plateformes, et la publication d'invites extraites peut être juridiquement contestée. Les chercheurs et les praticiens doivent évaluer la provenance et la légalité de tout jeu de données d'invites qu'ils utilisent.