Problématique : La couleur a-t-elle un impact sur la perception des images infrarouges ?
La colorisation est une étape facultative du traitement des images infrarouges. Cette fausse colorisation transforme une image en niveau de gris en une image colorisée avec une palette de 256 couleurs appelée colormap. Les différentes colormaps présentées dans ce post ont été développées avec plusieurs objectifs : améliorer le confort visuel, mettre en évidence les objets les plus chauds, améliorer le contraste dans les zones sombres, …
Ces colormaps ont-elles réellement un impact sur la perception humaine ? Permettent-elles une meilleur interprétabilité ?
Expérience n°1 :
Afin de répondre à cette question, nous avons imaginé une expérience de perception. L’expérience se déroule dans une salle dont la lumière ambiante et la luminosité de l’écran sont contrôlées. Le participant se voit présenter une par une, 150 paires d’images infrarouges. Chaque paire est constituée de la même image colorisée de deux façons différentes (i.e. colorisée avec deux colormaps différentes). Pour chaque paire, il est demandé au participant de choisir l’image qui lui semble la plus interprétable. Un total de 92 personnes dont 53 experts ont participé à cette expérience.
L’interface présentée au participant est la suivante :
Des points sont attribués à chaque colormap en fonction de la réponse du candidat :
- Le participant choisit « l’image gauche » : la colormap de gauche gagne 2 points et celle de droite en perd 2
- Le participant choisit « légèrement l’image gauche » : la colormap de gauche gagne 1 points et celle de droite en perd 1
- Le candidat choisit « sans préférence » : aucune colormap ne gagne ni ne perd de points.
Chaque candidat affecte donc à chaque colormap un score, appelé « score réel ». Ce score varie entre -2 et +2. Un score de -2 signifie que cette colormap n’a jamais été choisie par le candidat et un score de +2 signifie qu’elle a toujours été choisie par la candidat. Un score de 0 signifie que la colormap a été choisi une fois sur deux.
Les scores obtenus sont présentés sur la figure suivante :
On remarque deux groupes de colormaps, celles qui ont un score positif (i.e. ont été choisies plus d’une fois sur deux) :
Celles qui ont un score négatif signifiant qu’elles ont été les moins appréciées :
La colormap la plus appréciée est contrast qui a la particularité d’avoir des contours très marqués. La moins appréciée est tracker qui est composée d’une partie en niveau de gris et d’une autre en couleur.
En projetant les données en 2D, les résultats obtenus par les colormap montrent un découpage clair des colormap en 3 groupes :
– Les colormaps colorées : color, inferno et ironbow
– Les colormaps non/peu colorées : whitehot, blackhot et serenity
– Les colormaps en deux parties (bicolores) : contrast et tracker
Pour l’application automobile, c’est la colormap standard whitehot (gauche) qui est préférée alors qu’elle n’était que la 4ème au classement général. La colormap la moins apprécié est tracker (droite).
Par rapport à la tendance générale, la colormap blackhot est appréciée pour l’application automobile, par exemple :
Cela peut s’expliquer par le fait que les couleurs sont plus proches de leurs couleurs réelles en visibles, notamment le ciel blanc, la route grise et les marquages au sol blancs.
Expérience n°2 :
Une seconde expérience a été mise en place pour comparer les colormaps en terme de performance. On demande au participant de trouver un objet dans l’image infrarouge et on mesure son temps de réponse, c’est-à-dire le temps que met le participant à cliquer sur l’objet en question. Chaque image n’est présentée qu’une seule fois à chaque participant pour éviter que le temps de réponse du candidat ne soit impacté par sa connaissance préalable de l’image. Pour cette expérience, le nombre de participant s’élève à 67 personnes dont 28 experts.
Les résultats se présentent sous la forme d’un graphe des temps moyen normalisés par colormap.
Le graphe se lit de la manière suivante :
– Un temps moyen normalisé à 0 signifie que la colormap ne fait ni gagner ni perdre de temps dans la recherche d’un objet. Elle n’apporte donc rien en moyenne.
– Un temps moyen normalisé positif implique que la colormap fait perdre du temps dans la recherche d’un objet.
– Un temps moyen normalisé négatif implique que la colormap fait gagner du temps dans la recherché d’un objet.
Ainsi, la colormap tracker est la moins performante et fait perdre 0.21sec dans la recherche d’un objet. Whitehot est la plus performante, elle permet de trouver un objet 0.18sec plus rapidement en moyenne. Color est la seconde colormap la plus performante avec un gain de 0.05sec et contrast fait perdre 0.03sec.
La grande différence de performance entre whitehot et tracker peut s’expliquer de deux manières :
– Les participants sont plus habitués aux images en noir et blanc qu’à des images colorisées comme avec tracker
– Tracker rend difficile l’interprétation de l’image en modifiant des contrastes et en modifiant la « logique » de la scène
Un exemple pour une application automobile de détection de piétons est visible sur l’image suivante. Le piéton à droite de l’image est facilement visible sur whitehot (gauche) car le contraste entre ces jambes et le fond est important. Sur l’image colorisée avec tracker (droite) le contraste des jambes sur le fond est beaucoup plus faible. Le piéton est aussi coupé en deux à cause de la colormap ce qui complique encore plus sa détection. De plus, de nombreuses zones inintéressantes sont colorisées en rouge et attirent l’œil ailleurs que sur le piéton. Pour un affichage au conducteur d’un véhicule équipé d’une caméra thermique on préfèrera donc la colormap whitehot.
En conclusion, la colormap a un impact significatif sur l’interprétation par un œil humain. La colormap préférée est souvent celle qui a un rendu proche du visible. Dans la grande majorité des cas, la colormap est préférée lorsque l’objet d’intérêt est clair sur fond sombre et que ses contours sont marqués. La colormap avec seuil (tracker) est pratiquement toujours la moins appréciée. Dans le cas d’une application automobile, on préfèrera la colormap whitehot qui présente les meilleures performances en terme de détection de usagers vulnérables de la route (piétons, cyclistes, …). D’autres expériences de perception seront réalisées par la suite pour confirmer ces résultats, ils pourront aussi être comparés aux résultats obtenus par une IA sur ces mêmes images.
Auteurs : Groupe de trois étudiants de Polytech Grenoble – INP, UGA, projet M2 filière IESE
Mots clés : Colorisation, perception, traitement d’image
