SAM 2

Ouverture : du « segmenter tout » au « suivi en temps réel », un changement de paradigme pour les modèles visuels

Dans le domaine de la vision par ordinateur, le concept de « segmenter tout » (Segment Anything) s’est fait connaître grâce au premier modèle SAM de Meta. Aujourd’hui, son successeur, SAM 2, arrive avec une ambition encore plus grande : non seulement réaliser une segmentation zéro-shot sur des images statiques, mais aussi étendre cette capacité de manière transparente aux flux vidéo, pour offrir un véritable détourage et suivi au niveau des pixels en temps réel et interactif. Il ne s’agit plus d’une simple démo de laboratoire, mais d’un outil visuel avancé qui met la productivité à l’honneur.

Atout principal : une combinaison parfaite entre mécanisme de mémoire et architecture en flux

Si SAM 2 fait sensation à la fois dans l’image et la vidéo, c’est grâce à l’innovation de son architecture sous-jacente. Les modèles de segmentation traditionnels traitent la vidéo comme une simple séquence d’images isolées, nécessitant une correction manuelle fastidieuse image par image. SAM 2 introduit quant à lui un encodeur de mémoire spatio-temporelle et une architecture de traitement en continu.

Cela signifie que lorsque vous sélectionnez un objet dans la première image d’une vidéo, le modèle extrait non seulement les caractéristiques spatiales de cette image, mais utilise aussi sa mémoire pour transmettre les propriétés de l’objet, sa trajectoire et ses changements d’apparence à toutes les images suivantes. Même si l’objet subit des déformations importantes, se déplace rapidement ou réapparaît après une brève occlusion, SAM 2 assure un suivi « verrouillé » grâce à son mécanisme de mémoire. Pour les images, il reste un outil universel de segmentation zéro-shot : un simple point, un rectangle ou un coup de pinceau suffit pour isoler instantanément n’importe quel contour complexe. Mais son véritable atout est l’interaction en temps réel et la correction dynamique : si une dérive de contour apparaît sur une image, il suffit d’un clic correctif sur cette image, et la correction se propage comme une onde à toutes les images précédentes et suivantes, sans avoir à tout recommencer. Cette résistance aux occlusions dans la dimension temporelle et cette boucle de rétroaction à très faible latence font passer la segmentation IA d’un artisanat image par image à un processus automatisé sur toute la durée.

Public cible : à la croisée de la créativité et de l’industrie

Les capacités générales de SAM 2 ne sont pas réservées aux passionnés de technologie ; elles se diffusent largement dans de nombreux domaines pratiques :

• Monteurs vidéo et artistes VFX : dites adieu au cauchemar des fonds verts et de la rotoscopie. Avec SAM 2, quelques traits rapides suffisent pour extraire en temps réel un personnage au premier plan ou tout autre objet, afin de remplacer l’arrière-plan ou d’intégrer des effets d’ambiance, ce qui réduit considérablement les délais de montage pour le cinéma et les courtes vidéos.
• Développeurs en vision par ordinateur et data scientists : pour les chercheurs qui ont besoin de constituer des jeux de données visuels sur mesure, SAM 2 est un accélérateur d’annotation ultime. Il permet de générer rapidement des masques de référence d’une grande précision dans l’espace d’un milliard de pixels d’une vidéo, avec une intervention humaine minimale.
• Créateurs de contenu numérique et designers : qu’il s’agisse de décomposer finement les calques d’une affiche statique ou de créer des effets visuels interactifs de type « flash », même les utilisateurs sans bagage technique peuvent, grâce à sa logique d’interaction simplifiée, réaliser des tâches de détourage qui prenaient auparavant des heures.
• Professionnels de la conduite autonome et de la robotique : dans la compréhension de scènes dynamiques, la segmentation continue au niveau des pixels des objets en mouvement est un besoin essentiel ; SAM 2 offre une base de perception plus légère et plus cohérente.

Expérience utilisateur : la fluidité du « clic et obtenez » et une puissance sous-jacente impressionnante

Dès la première prise en main de SAM 2, la sensation la plus immédiate est « l’absence d’attente ». Sur une machine équipée d’une carte graphique standard, via le navigateur ou une interface de démonstration locale, il suffit de tracer un rectangle approximatif à la souris : le contour de l’objet apparaît presque instantanément, parfaitement ajusté, sans aucune latence. Ce retour immédiat est particulièrement saisissant en traitement vidéo : pendant la lecture d’une vidéo d’une minute montrant une rue bondée, un simple clic sur un piéton suffit pour que l’IA génère un masque indépendant qui suit toute la séquence, comme un laser invisible verrouillant la cible. Lorsque le piéton passe sous l’ombre d’un arbre qui le cache brièvement, le masque ne se perd pas ; cette robustesse face aux occlusions est vraiment impressionnante.

Toutefois, cette simplicité d’interaction cache un compromis de calcul important. Le modèle est très gourmand en mémoire vidéo, et sur les machines peu performantes, le traitement de longues vidéos rencontre des limites évidentes. De plus, lorsque l’objet cible présente une texture très similaire à l’arrière-plan et que la luminosité est faible, le mécanisme de mémoire peut parfois intégrer par erreur des textures d’arrière-plan similaires dans sa « mémoire », provoquant un léger gonflement du masque en fin de séquence, ce qui nécessite une correction manuelle. Mais dans l’ensemble, SAM 2 a établi une boucle complète de standards technologiques très influente pour abaisser les barrières de la création visuelle et améliorer l’efficacité technique.