Project leaders :
Didier SCHWAB (Titulaire de la Chaire AugmentIA ; directeur de thèse)
Philippe MULHEM (Directeur de thèse)
Diandra FABRE (post-doctorante)
Markarit VARTAMPETIAN (doctorante)
Project research areas : IA générative, traitement automatique du langage (TAL), modèles de langue décodeurs, génération de texte appliquée aux tâches de rédaction, transfert d’apprentissage (domaines, tâches, langues), apprentissage continu, représentation sémantique, représentation computationnelle
Organisations associated with the project : Fondation Grenoble INP, LIG, ARTELIA, MIAI Cluster
Descriptif :
Ce travail de thèse porte sur la création et l’évaluation de grands modèles de langue décodeurs multilingues centrés sur la génération automatique de textes, et plus particulièrement sur les tâches de rédaction intégrées aux processus métiers des ingénieurs et de managers. Ces tâches incluent la production de contenus techniques, précis et adaptés au contexte, tels que l’élaboration de dossiers techniques et la synthèse documentaire (rédaction de rapports techniques, suivi de projets, assistance à la conception, réécriture, etc.).
Ainsi, la thèse s’intéresse à la création de modèles de langue génératifs spécialisés et multilingues ainsi que leur apprentissage continu, le transfert de connaissances entre domaines ou langues ainsi que la représentation sémantique ou les limites de captation du sens. Elle étudie par ailleurs l’interprétabilité et la transparence de réponses générées par ces modèles ainsi que leur représentation computationnelle, notamment la réduction de taille de modèles en préservant leurs performances. Ces travaux s’accompagnent également d’enjeux transversaux tels que la réduction des hallucinations de l’IA, le respect des contraintes éthiques et l’empreinte environnementale de ces systèmes. Chaque point est analysé en créant des modèles variant selon les données (genre, taille) et les architectures, avec une comparaison incluant des modèles privés non reproductibles. L’ensemble des travaux s’inscrit dans une démarche de reproductibilité et de partage (documentation, code, modèles, corpus ouverts -lorsque possible).
Axes de recherche :
Questions de recherche (QR) :
– Interprétabilité et explication des réponses : Comment rendre les processus de récupération documentaire et de génération transparents pour les utilisateurs, afin qu’ils puissent comprendre d’où proviennent les informations et comment la réponse a été construite ?
– Transfert d’apprentissage : Comment transférer des connaissances d’un domaine à un autre, d’une tâche à une autre ?
Enjeux : partage de connaissances entre domaines et langues, transfert parcimonieux.
– Apprentissage continu : Comment permettre aux modèles d’apprendre de nouvelles informations et de s’adapter aux changements dans les connaissances sans nécessiter un réentrainement complet du modèle ?
– Représentation sémantique : Qu’est-ce qui caractérise les aspects du sens que les réseaux profonds sont capables de capturer et ceux qu’ils sont incapables de capturer, et pourquoi ?
– Représentation computationnelle : À quel point peut-on réduire la taille des représentations sans (trop) de perte de connaissances ? Enjeux : réduction de la taille des modèles pour des raisons environnementales et pratiques.
Expected results : Modèles de langue décodeurs spécialisés, corpus (entraînement, évaluation) spécialisés
Publication associée : SuperGPQA-HCE-FR : un corpus spécialisé en français pour le domaine hydraulique et le génie civil (accepté pour EvalLLM2025 « Atelier sur l’évaluation des modèles génératifs (LLM) et challenges »)
