L'un des principaux problèmes des systèmes de conduite autonome réside dans le fait qu'ils peuvent parfaitement voir la route tout en prenant des décisions à court terme hésitantes dans le trafic urbain chaotique. Les systèmes avancés peinent à s'adapter à des situations routières complexes et changeantes. Mais une nouvelle étude soutient que ces voitures n'ont pas besoin d'une meilleure vision, mais d'une meilleure mémoire.
Dans l'article évalué par des pairs intitulé KEPT (Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models), des chercheurs de l'université de Tongji et leurs collaborateurs ont développé un système qui aide les véhicules autonomes à « se souvenir » des situations de conduite passées avant de choisir la marche à suivre.
Comment fonctionne cette nouvelle technologie de conduite autonome ?
La méthode, appelée KEPT, utilise la vidéo de la caméra avant, la compare à une vaste bibliothèque d’extraits de conduite réels antérieurs, puis prédit une trajectoire à court terme plus sûre en se basant à la fois sur la scène actuelle et sur des exemples récupérés du passé. L’idée de base est assez intuitive. Au lieu de demander à un modèle d’IA de réagir à chaque situation comme s’il n’avait jamais rien vu de tel auparavant, KEPT lui permet de se remémorer des moments similaires issus de trajets précédents.
Ces exemples sont ensuite intégrés à un modèle vision-langage dans le cadre d'un processus de raisonnement structuré. C'est important, car selon les chercheurs, les grands modèles vision-langage peuvent sinon avoir des hallucinations, ignorer les contraintes physiques ou suggérer des mouvements qui semblent plausibles sur le papier mais qui ne conviennent pas à une voiture réelle. KEPT agit donc essentiellement comme des garde-fous pour ancrer le modèle dans ce à quoi ressemblaient des situations de circulation similaires dans le monde réel.
Est-ce mieux que les systèmes autonomes conventionnels ?
Les chercheurs ont testé KEPT sur le benchmark nuScenes, largement utilisé, et ont déclaré qu’il surpassait à la fois les systèmes de planification de bout en bout conventionnels et les nouveaux planificateurs basés sur la vision et le langage sur des métriques en boucle ouverte. Il a même réussi à réduire l’erreur de prédiction et à diminuer les indicateurs de collision potentielle, tout en conservant une vitesse de récupération suffisante pour rester pratique pour la conduite en temps réel.
Cela pourrait le faire apparaître comme un choix évident pour les voitures autonomes de nouvelle génération, mais il n'est pas encore prêt à rouler sur les routes. Néanmoins, l'idée générale est séduisante. Si les voitures autonomes peuvent combiner une perception en temps réel avec une mémoire significative de la façon dont des situations similaires se sont déroulées auparavant, elles pourraient finir par prendre des décisions qui semblent moins fragiles et plus humaines.
