Porteurs du projet : Loïc ARBEZ, Jocelyn CHANUSSOT, Ronald PHLYPO, Jessy MATIAS
Axes de recherche du projet : Apprentissage profond (deep learning), Vision par Ordinateur, Fusion de données
Organismes associés au projet :
Chaire Deep Red (portée par la Fondation Grenoble INP)
Lynred
Gipsa-lab
Centre INRIA de l’Université Grenoble Alpes
Le projet :
L’importance du traitement des images infrarouges et multispectrales réside dans sa capacité à révéler une multitude d’informations au-delà du spectre visible, améliorant ainsi notre compréhension du monde et permettant des applications avancées dans divers domaines. Une caractéristique notable des capteurs infrarouges est leur capacité à capturer le rayonnement thermique émis par toute matière au-dessus de 0 K (-273,15°C), par rapport aux données standard du spectre de la lumière visible qui dépendent des propriétés de réflexion de l’objet ou de la scène observée. Cela permet à un capteur infrarouge d’être plus performant dans des conditions d’éclairage défavorables telles qu’une faible luminosité, un temps brumeux ou une exposition à la lumière directe. Cette qualité en fait un complément précieux aux informations de la lumière visible dans diverses applications, notamment la sécurité, la conduite autonome, la télédétection ainsi qu’en médecine [1].
L’analyse de ces images à l’aide de techniques d’intelligence artificielle et d’apprentissage profond libère le potentiel de systèmes plus précis, efficaces et adaptatifs dans des domaines tels que les véhicules autonomes, les soins de santé et la préservation de l’environnement. Bien que les images RGB-IR multimodales aient été traditionnellement utilisées pour la détection des piétons, en particulier avec des ensembles de données tels que FLIR ADAS [2] ou KAIST [3], leur utilisation était initialement limitée en raison du coût élevé des capteurs infrarouges [1]. Toutefois, ‘les progrès récents de la technologie des capteurs les ont rendus de plus en plus accessibles et répandus’, comme le suggèrent Wilson et al [1]. D’autre part, la détection d’objets a toujours été un défi important dans le domaine de la vision par ordinateur et a gagné en importance avec l’adoption généralisée des architectures de réseaux neuronaux. Initialement axée sur l’identification d’objets dans des environnements RVB classiques, la détection d’objets s’est également avérée utile pour des systèmes multispectraux ou infrarouges, moyennant de légères adaptations des modèles développés pour les images RVB [4][5][6]. Mais en raison du manque de bonnes bases de comparaisons, consistant en un seul jeu de données public pour la détection et la classification d’objets multi-classes, le FLIR ADAS. Le sujet ne semble pas avoir suscité beaucoup d’intérêt dans la communauté.
Objectifs du projet :
L’objectif de cette thèse est de se concentrer sur le développement de méthodes pour le traitement et l’analyse de séquences infrarouges et multispectrales. L’accent sera mis sur la détection des usagers sensibles de la route, piétons, cyclistes, motos ou trottinettes dans le contexte d’un véhicule à conduite assistée. Ce travail s’appuiera sur un jeu de données interne similaire à la version 2.0 du jeu de données FLIR ADAS fourni par la société française de capteurs infrarouges LYNRED. L’aspect temporel des séquences d’images étudiées pourrait être pris en compte, ainsi que la stratégie de mélange des composantes visible et infrarouge de l’image, comme l’ont démontré Bao et al [6]. En outre, comme dans toute tâche de classification d’images, la taille de l’ensemble de données utilisé sont étroitement liées aux performances du modèle créé. L’exploration de méthodes pour générer des données infrarouges ou multispectrales, que ce soit par l’augmentation des données multispectrales ou la génération de données infrarouges à partir d’images RVB, est également un aspect essentiel de cette recherche. [1]
Publications associées au projet :
Wilson, A., et al. ‘Recent advances in thermal imaging and its applications using machine learning: A review,’ in IEEE Sensors Journal, 2023. [2] “Free teledyne FLIR thermal dataset for algorithm training« . Accessed: 2023-12-13. [3] S. Hwang, J. Park, N. Kim, Y. Choi, and I. S. Kweon, “Multispectral pedestrian detection: Benchmark dataset and baselines,” inProceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015. [4] K. Takumi, K. Watanabe, Q. Ha, A. Tejero-De-Pablos, Y. Ushiku, and T. Harada, “Multispectral object detection for autonomous vehicles,” in Proceedings of the on Thematic Workshops of ACM Multimedia 2017,pp. 35–43, 2017. [5] S. Li, Y. Li, Y. Li, M. Li, and X. Xu, “Yolo-firi: Improved yolov5 for infrared image object detection,”IEEEaccess, vol. 9, pp. 141861–141875, 2021. [6] C. Bao, J. Cao, Q. Hao, Y. Cheng, Y. Ning, and T. Zhao, “Dual-yolo architecture from infrared and visible images for object detection,”Sensors, vol. 23, no. 6, p. 2934, 2023.
Planning : du 01/12/2024 au 01/12/2026
