Réalité augmentée : SLAM, ancrage et tracking expliqués

Faire tenir un compagnon virtuel sur ta table, immobile quand tu tournes autour, relève d’un exploit technique invisible. Voici ce qui se passe sous le capot d’ARKit (iOS) et ARCore (Android).

Le SLAM : se repérer en cartographiant

SLAM (Simultaneous Localization And Mapping) résout deux problèmes à la fois : construire une carte de l’environnement et y situer l’appareil. Le téléphone repère des points caractéristiques (coins, textures), les suit image après image, et en déduit son propre déplacement.

La fusion de capteurs

La caméra seule ne suffit pas. On la combine avec la centrale inertielle (accéléromètre + gyroscope) qui mesure les mouvements à haute fréquence. Cette fusion visuo-inertielle donne un suivi fluide et robuste, même quand l’image est pauvre.

Détection de plans et ancrage

• Détection de plans : le système identifie les surfaces (sol, table) à partir des nuages de points.
• Ancre (anchor) : on « cloue » l’objet virtuel à une position du monde réel. Le compagnon reste à sa place quand tu bouges.

Occlusion et réalisme

Pour la crédibilité, l’AR moderne gère l’occlusion (un objet réel passe devant le compagnon) grâce à l’estimation de profondeur, et adapte l’éclairage virtuel à la lumière ambiante mesurée. Sans ça, l’objet « flotte » au lieu d’habiter la scène.

Les contraintes

Tout cela tourne en temps réel sur un mobile : le budget calcul est serré. D’où l’importance d’un rendu optimisé — mieux vaut un compagnon fluide et bien ancré qu’un modèle somptueux qui dérive ou saccade.