Postée il y a 22 heures
La reconnaissance de lieu basée sur la cartographie visuelle de l'environnement est un problème au cœur de nombreux domaines d'application, tels que la géolocalisation pour la cartographie mobile, la mise à jour et la documentation des jumeaux numériques, l'annotation des collections en humanités numériques, la réalité augmentée ou la vérification des faits. La reconnaissance d'un lieu peut prendre plusieurs formes, de la production d'une annotation (par exemple « cette image montre l'église Saint-Eustache à Paris ») à une pose 6D qui fournit également des informations sur l'emplacement du capteur d'acquisition (« c'est la face sud de l'église Saint-Eustache photographiée depuis le 132 rue Rambuteau »). Dans l'état de l'art de la vision par ordinateur, lorsqu'aucune position initiale n'est connue, les techniques existantes sont basées sur l'indexation par contenu visuel et la recherche par similarité dans un référentiel d'images géolocalisées. Nous étudions ici la généralisation de ce type d'approche à la 3D en considérant des campagnes d'acquisition de nuages de points 3D (notamment LiDAR), de plus en plus populaires et dont la richesse en termes de géométrie et de sémantique est intéressante, mais dont le volume et la diversité sont complexes à traiter. L'état de l'art sur la reconnaissance de lieu pour les nuages de points 3D existe, mais il en est encore à ses débuts et se concentre principalement sur la proposition, par apprentissage profond, de descripteurs de nuages de points avec l'objectif de retrouver des nuages de points similaires dans un grand ensemble de nuages. Depuis la proposition séminale PointNetVLAD [Uy et al, 2018], la littérature s'enrichit chaque année de nouveaux descripteurs de nuages de points, qui diffèrent selon l'approche d'apprentissage utilisée, pour une meilleure discrimination et une plus grande robustesse en fonction des transformations géométriques, de la volumétrie ainsi que des benchmarks disponibles [Bold et al, 2019], [Liu et al, 2019], [Hui et al, 2021], [Komorowski, 2021], [Xia et al, 2021], [Hui et al, 2022], [Vidanapathirana et al, 2022]. Bien qu'il existe une grande variété d'équipements d'acquisition de données 3D, la plupart des approches se concentre sur la mise en correspondance de données de la même modalité, généralement issues de la cartographie mobile. Pour combler cette lacune, [Guan et al., 2023] a proposé de s'attaquer à l'appariement des données aériennes et terrestres. C'est dans ce contexte de multimodalité à très grande échelle que se positionne ce stage. Le stage est au cœur de la problématique de l'indexation et de la recherche dans les nuages de points 3D, pour la reconnaissance de lieu jusqu'à l'estimation de la pose 6D de la caméra d'acquisition. L'équipe encadrante (deux chercheurs et un doctorant) possède une expertise sur les descripteurs de nuages de points pour une recherche efficace dans les grandes collections de nuages de points. A partir d'un nuage de points d'entrée (la requête), le système actuel développé dans l'équipe, basé sur les modèles de langage Hugging Face, peut récupérer le sous-nuage le plus similaire dans un nuage de points de référence géolocalisé. Ces derniers sont associés à une géolocalisation qui peut être considérée comme une première réponse au problème de reconnaissance de lieu. En pratique, comme pour la recherche d'images, il est plus robuste de considérer les k nuages les plus similaires, puis de les analyser plus finement pour juger de leur cohérence avec la requête, avant d'en sélectionner un, voire plusieurs, pour déterminer plus précisément la localisation. C'est l'objet du stage : la nouvelle recrue devra évaluer la qualité des réponses renvoyées a posteriori par le cadre de recherche 3D et estimer, selon des critères à étudier et à mettre en œuvre, quels sont les plus similaires à la requête pour éventuellement les réordonner. Bac+5 en informatique, mathématiques appliquées ou vision par ordinateur (master ou école d'ingénieur) ; bonnes connaissances en traitement d'images ou de données 3D, ainsi que de solides compétences en programmation Python. De bonnes compétences en Apache Spark, Hugging Face API, LLM, PyTorch, ou en programmation fonctionnelle sont un plus important Le stage est localisé en île-de-France à Champs-sur-Marne dans les locaux de l'ENSG Géomatique sur le Campus Descartes à proximité du RER A (Noisy Champ). -