Certaines personnes croient que l’intelligence artificielle représente un danger pour le monde de l’enseignement universitaire et l’apprentissage. De son côté, Luc Lespérance s’est demandé si l’IAG ne pouvait pas, au contraire, l’aider à mieux enseigner et favoriser l’apprentissage.
À l’été 2024, ce maitre d’enseignement a décidé de tester l’intégration d’un robot conversationnel dans le contexte de son cours « Systèmes d’information en gestion ». Le but n’est pas de le remplacer à titre d’enseignant, mais bien d’offrir un outil d’accompagnement offert 7 jours sur 7, 24 heures sur 24.

En un clin d’œil, devrais-je me lancer dans cette aventure?
Le pour
- Le robot répond aux questions en ne se concentrant que sur la matière du cours
- Le robot permet de réviser efficacement la matière du cours
- Les personnes étudiantes ayant utilisé le robot conversationnel l’ont apprécié
- Les personnes étudiantes croient que l’avenir est prometteur pour ce type d’outil
Le contre
- Il a été long et ardu de programmer un robot qui se limitait au cursus d’un cours sans aller chercher de l’information ailleurs ou de tout simplement inventer des réponses
- Le robot n’a pas permis de répondre adéquatement à toutes les questions dont les plus complexes
- Le robot avait parfois de la difficulté à comprendre les questions des personnes utilisatrices
- L’utilisation est limitée aux documents dont vous détenez les droits de propriété intellectuelle ou qui sont librement accessibles en ligne
Visionner la vidéo de présentation (1 h 25)
- Diffusion réservée aux membres de la communauté de HEC Montréal
Contexte
Luc Lespérance, passionné d’intelligence artificielle, a fait de ce domaine son métier et l’enseigne aujourd’hui à HEC Montréal. Lorsqu’il s’est lancé dans la création d’un robot conversationnel qui pourrait agir à titre d’assistant, c’était avant tout pour répondre à un désir d’expérimentation.
Allait-il réussir à créer un robot capable de répondre efficacement aux besoins des personnes de sa classe? Au début, il n’en avait aucune idée. Ce qu’il savait en revanche, c’est qu’avant de le partager avec la communauté étudiante, son robot devait répondre à certains critères essentiels : qu’il consiste en un produit minimalement viable (MVP).
Critères essentiels
- Répondre efficacement aux questions posées par les membres de la classe
- Se limiter aux questions en lien avec le cours
- Se limiter au corpus du cours
- Limiter les hallucinations (vous savez, ces réponses qu’un agent d’IAG invente au lieu de répondre « je ne sais pas »)
- Demeurer poli et courtois
Difficile de créer un robot conversationnel?
La création d’un robot conversationnel n’est pas difficile en soit. OpenAI permet la création rapide d’agents d’intelligence artificielle grâce à sa fonctionnalité GPTs. Dans ce cas-ci, Luc a configuré son agent pour qu’il réponde à des questions en lien avec la matière d’un cours. Sa « programmation » se fait en langage naturel. Luc discute en français avec l’interface de création. Le travail se fait par itération, où chaque requête permet à l’agent en devenir de correspondre de plus en plus à l’idée que s’en est faite Luc.
Mais attention! Bien que l’outil de création soit simple à utiliser – il suffit de savoir discuter en français après tout – cela ne signifie pas pour autant qu’un robot conversationnel se conçoit rapidement et sans heurts. Le défi majeur rencontré par Luc était une tendance de l’agent à aller chercher de l’information à l’extérieur de ses sources de données, soit à l’extérieur du corpus du cours.
Ironiquement, le fait que Open AI ait accès à une foule de données devenait en quelque sorte la plus grande embuche à la création du robot conversationnel. Le défi était de réussir à convaincre l’agent de se limiter à son mandat : livrer une information de qualité et fiable, qui s’appuie exclusivement sur le corpus de textes intégré à sa base de connaissances.
Dans le pire des cas, il hallucinait une réponse qu’il livrait sans le moindre doute à la personne utilisatrice. Luc ne pouvait pas présenter un tel robot à sa classe ainsi! Du travail restait à faire. Mais après une série de requêtes totalisant cinq pages, le premier MVP était enfin prête à être lancée.
Utile et apprécié ce robot?
Cette version du robot conversationnel a reçu un accueil mitigé de la part des membres de la classe. Dans les faits, peu de personnes l’ont utilisé. Luc émet deux hypothèses pour expliquer cela :
- L’existence du robot n’a pas été assez mis en évidence dans le portail du cours
- Les fonctionnalités pédagogiques du robot n’ont pas été efficacement communiquées :
- Répondre à des questions simples
- Poser des questions afin de se pratiquer à un examen
- Expliquer des concepts
- Résumer du contenu du cours
Bref, ce n’est pas l’utilité du robot qui est mis en cause dans ce manque d’enthousiasme de la communauté étudiante, mais une erreur de parcours au niveau communicationnel, ce que Luc compte bien corriger pour son prochain robot qui est déjà en cours de conception.
Bien que l’échantillon soit petit, les personnes utilisatrices se sont dit satisfaites et elles croient qu’il s’agit d’un ajout intéressant au cours. Le jour où un agent conversationnel pourra répondre à l’ensemble des questions des membres de la classe n’est pas encore arrivé, mais il s’agit d’un premier pas dans cette direction.
Alors, utile ce robot? Comme vous pouvez le constater dans l’image suivante, l’outil a eu un gain de popularité assez important avant les périodes d’examen : les personnes l’utilisant pour réviser la matière.

Nombre de conversations par jour durant le semestre
En conclusion
Le jeu – ou temps investi – en vaut la chandelle? Fort de cette première expérience, Luc a néanmoins maintenant l’idée de tester avec quelques collègues une nouvelle façon de concevoir des agents conversationnels. Plutôt que de développer un agent « généraliste », il s’oriente vers la création d’agents spécialisés, conçus pour intervenir à des moments stratégiques de la session et alignés avec le design pédagogique du cours. L’objectif? Développer des agents favorisant l’acquisition de compétences spécifiques au travers de simulations.

