Des chercheurs du MIT Media Lab ont découvert une utilisation véritablement époustouflante du capteur LiDAR intégré à votre iPhone et à votre iPad Pro. Il est capable de détecter et de suivre des objets qui se trouvent complètement en dehors du champ de vision de la caméra. Oui, cela signifie qu’il peut voir au-delà des angles.
Ce type d'imagerie, appelé imagerie hors ligne de visée (NLOS), n'est pas un concept nouveau. Mais les démonstrations passées reposaient sur des lasers puissants et coûteux de qualité laboratoire, qui avaient peu d'applications dans le monde réel.
Ce qui rend cette recherche passionnante, c'est que l'équipe du MIT a réussi à la mener à bien en utilisant le même capteur LiDAR basse consommation déjà intégré à nos smartphones.
Comment cela fonctionne-t-il ?
L'équipe utilise le capteur LiDAR pour nous permettre de voir au-delà des angles et de détecter des objets qui ne se trouvent pas directement dans notre champ de vision. Le secret réside dans le mouvement. À mesure que votre appareil se déplace, le système suit simultanément la forme de l'objet, sa position et celle de la caméra au fil du temps.
L'équipe appelle cela un modèle d'échantillonnage d'ouverture, qui consiste essentiellement à assembler une série de mesures bruitées et imparfaites pour en faire quelque chose de significatif. Les résultats ne sont pas des photos nettes de ce qui se cache au coin de la rue. Au lieu de cela, vous obtenez des déductions de plus en plus précises. Le système peut vous dire qu'il y a quelque chose, comment cela bouge et quelle forme cela a approximativement. Considérez cela comme de l'écholocation, mais avec de la lumière.
Que peut-il réellement faire ?
L'équipe a démontré quatre capacités spécifiques : le suivi d'un objet unique, la reconstruction de sa forme, le suivi simultané de plusieurs objets, et une fonctionnalité particulièrement intéressante pour la robotique, à savoir l'auto-localisation de la caméra à l'aide de repères cachés.
Cette dernière fonctionnalité est très importante. Un robot ou un système autonome capable de s’orienter à l’aide d’objets qu’il ne peut pas voir directement dispose d’un avantage considérable dans le monde réel. Cela peut également contribuer à améliorer la technologie de conduite autonome ou les drones de livraison, notamment pour éviter les accidents.
Malheureusement, vous ne pouvez pas essayer cela sur votre smartphone pour l'instant, « car cela obligerait ces entreprises à publier leurs données brutes, ce qu'elles ne font souvent pas », a déclaré Siddharth Somasundaram, l'un des chercheurs travaillant sur ce projet. Cela dit, les chercheurs ont rendu leur code accessible au public, et le matériel de capteurs peut être assemblé pour moins de 50 dollars.
