Intelligence artificielle générative en contexte d’évaluation
L’apparition des robots conversationnels, par exemple ChatGPT, Gemini ou Copilot, change les pratiques d’évaluation et continuera d’ailleurs à les modifier au fur et à mesure que l’intelligence artificielle générative (IAG) évoluera, c’est-à-dire très rapidement. Ces robots deviennent de plus en plus utilisés et le seront autant que peuvent l’être les autres ressources en ligne, les moteurs de recherche (Google et Google Scholar), les encyclopédies collaboratives (Wikipédia), les bases de données (Érudit), etc.
Aujourd’hui, lorsque l’on parle d’intégrité intellectuelle générative, il est impossible de ne pas considérer les robots conversationnels grâce auxquels l’information est disponible facilement, rapidement. Nous devons donc nous questionner sur notre façon d’évaluer et d’enseigner.
L’École a modifié le Règlement sur l’intégrité intellectuelle étudiante (.pdf) en 2023 à la suite de la popularisation de l’application ChatGPT, la première application de robot conversationnel à être utilisée à grande échelle.
Dans cette page, vous trouverez :
L’intelligence artificielle générative est capable de quoi?
À titre d’exemple, les robots utilisant l’intelligence artificielle générative sont généralement déjà capables de :
- Répondre à des questions théoriques sur une foule de sujets et de concepts assez pointus
- Rédiger un texte argumentatif ou narratif
- Améliorer la rédaction d’un texte
- Reformuler une réponse en d’autres mots
- Traduire et paraphraser un extrait d’un article scientifique
- Rédiger un plan de cours
- Corriger avec une grille d’évaluation (avec une fiabilité plutôt discutable)
- Coder en plusieurs langages informatiques différents
- etc.
Pour plus de détails, consulter The pratical guide to using AI to do stuff du professeur Ethan Mollick.
L’utilisation de l’intelligence artificielle générative en contexte d’évaluation est-elle permise à HEC Montréal?
HEC Montréal vous laisse le choix, et ce pour chacune de vos évaluations, de l’autoriser ou non. Dans le cas d’une évaluation notée (évaluation sommative), l’École a adopté des libellés de consignes. Ces libellés doivent être sélectionnés dans Zone cours par la personne coordonnatrice.
En plus des libellés sélectionnables pour chaque évaluation notée, un libellé général standardisé se trouve dorénavant sous la rubrique portant sur l’intégrité intellectuelle de la section « Évaluation ». Pour plus d’information et pour des ressources à ce sujet, consultez la page Clarifier l’utilisation de l’IAG dans un cours.
Rappelez-vous, comme l’indique le site sur l’intégrité intellectuelle de l’École, que les personnes étudiantes ont pour consigne de s’informer au préalable de l’utilisation permise ou non des outils d’IAG auprès de vous. Conformément au Règlement sur l’intégrité intellectuelle étudiante, toute utilisation non autorisée d’un outil d’IAG peut constituer une infraction sanctionnable.
Nous vous invitons, enfin, à vous pencher sur les situations d’évaluation formative (non notées) et à clarifier l’utilisation attendue de l’IAG, notamment au moyen du guide ci-dessous.
Un outil pour guider et communiquer vos balises
La DAIP a mis au point un outil pour vous aider à définir le niveau d’intégration de l’IAG que vous souhaitez permettre aux personnes étudiantes lors de vos activités d’enseignement ou d’évaluation. La page portant sur le guide d’intégration de l’IAG pour les activités d’enseignement et d’évaluation vous permet de vous renseigner sur le sujet et de télécharger les outils pertinents.
Comment évaluer les apprentissages dans ce contexte?
Du retour à l’évaluation papier-crayon jusqu’à l’autorisation de l’intelligence artificielle générative dans les travaux, une large palette d’options s’offre aux personnes enseignantes pour évaluer les apprentissages. Le choix de la modalité d’évaluation la plus appropriée dépend de plusieurs facteurs, dont les objectifs d’apprentissage, les processus cognitifs que l’on souhaite mobiliser chez les personnes étudiantes, et le rôle que l’IAG peut potentiellement y jouer.
En effet, l’IAG peut jouer un double rôle : remplacer les processus cognitifs de la personne étudiante, ce qui ne semble pas souhaitable, ou l’assister dans sa préparation, un peu à la manière d’un tuteur. Ainsi, pour prendre un exemple contrasté, évaluer la rétention de faits ou de concepts clés dans un cours d’introduction ne se fera probablement pas selon la même modalité qu’évaluer la capacité d’analyse d’une situation complexe dans un cours de 3e année ou de maîtrise. De plus, l’usage de l’IAG dans l’un et l’autre des cas ne sera pas balisé de la même façon non plus.
Évaluer les apprentissages dans ce contexte peut donc évoluer sur un spectre assez large. Les quelques exemples ci-dessous vous permettent d’évaluer en minimisant, sans toujours l’exclure, la possibilité pour l’IAG de remplacer totalement la personne étudiante dans son évaluation.
- L’évaluation papier-crayon : dans certains cas, il peut être pertinent d’évaluer la rétention de faits ou de concepts clés à l’aide d’une évaluation papier-crayon traditionnelle. Elle se fait cependant au prix de l’authenticité de la situation d’évaluation.
- L’évaluation des compétences en situation authentique : elle vise à évaluer la maîtrise des compétences dans une situation la plus réaliste possible (répondre à un besoin d’une entreprise, interagir avec des clients, proposer des solutions réalistes en prenant en compte des contraintes, etc.). Pour en savoir plus, consultez cette fiche aide-mémoire sur l’évaluation authentique (Pdf, 340 Ko.).
- Le débat : il permet la mobilisation de plusieurs aptitudes et compétences comme collaborer, communiquer, s’engager en profondeur dans le contenu pour produire les meilleures idées et réfuter les contre-arguments, etc. Pour en savoir plus, consultez ce texte de Stefan Bauschard.
- L’entrevue : que ce soit l’entrevue individuelle ou de groupe, l’entrevue offre la possibilité de sonder la profondeur de la compréhension d’un sujet des personnes étudiantes. Cette page d’Eductive vous renseigne sur l’entrevue individuelle.
- Le jeu de rôles : les personnes étudiantes incarnent un rôle afin de leur permettre de mieux comprendre les enjeux et défis d’une situation. Pour en savoir plus, notamment sur les conditions à mettre en place pour favoriser le succès de cette formule, consultez cette vidéo du Pôle de recherche en pédagogie de la gestion et la page web de la TELUQ sur le jeu de rôle.
Récolter les preuves d’apprentissage par triangulation
Vous pouvez aussi multiplier les sources à partir desquelles vous récoltez des preuves d’apprentissage. En effet, que ce soit par observation, conversation ou suite à une production des personnes étudiantes, la triangulation peut vous permettre de nourrir votre jugement tout au long d’une session. Le tableau ci-dessous vous fournit quelques idées pour chacune de ces sources.
| Source | Exemple |
|---|---|
| Observation |
|
| Conversation |
|
| Production |
|
Source : Centre franco-ontarien de ressources pédagogiques. (2013). Fascicule 3. Preuves d’apprentissage. Repéré à https://equinoxe.cepeo.on.ca/wp-content/uploads/sites/2/2018/08/fascicule3-1.pdf?fbclid=IwAR0NP88TzqLfyG0J7e_IdnzMX7PIusBQGQ6yCZuYoC3dQzhc0-QuXTNh4-M
Favoriser une culture de l’intégrité
L’adoption de l’IAG dans votre classe est une occasion de renforcer la culture de l’intégrité auprès des personnes étudiantes. Martine Peters, professeure à l’Université du Québec en Outaouais et responsable du PUPP (Partnership on University Plagiarism Prevention), suggère cinq mesures pour favoriser cette culture :
Discutez ouvertement de l’intégrité académique
Beaucoup de personnes ne prennent pas le temps de lire les politiques institutionnelles en matière d’intégrité. Évoquez donc ce sujet directement avec eux en début de session pour souligner son importance et les conséquences du plagiat. Au besoin, réabordez le sujet en cours de session.
Soyez un modèle d’intégrité
Veillez à toujours citer vos sources, que ce soit pour des images ou des idées issues d’Internet ou obtenues via l’IAG. En vous voyant faire, les membres de votre classe seront encouragés à en faire autant.
Transmettez les compétences nécessaires pour éviter le plagiat
Une étude[1] montre que le manque de compétence est l’une des raisons du plagiat chez les personnes étudiantes. Aidez-les à développer leurs aptitudes en matière de rédaction et de citation. Orientez-les, par exemple, vers les pages « Citer ses sources » et « Bibliographie selon le style HEC Montréal » du Guide de rédaction du Centre de formation en langues des affaires.
Concevez vos cours pour prévenir le plagiat :
Un personne investi est moins enclin à plagier. Encouragez leur engagement en les formant à l’IAG et en adaptant vos évaluations pour stimuler leur créativité. Cela rendra le plagiat plus ardu. Par exemple :
« J’avais l’habitude de demander à mes étudiants de première année de rédiger un essai sur leur vision de l’éducation. Mais étant donné le nombre de déclarations similaires disponibles en ligne, je leur demande maintenant d’utiliser des LLM pour générer quatre versions différentes d’une déclaration de vision et d’expliquer quelles parties de ces déclarations correspondent à leurs expériences personnelles en tant qu’étudiants. »[2]
Martine Peters
Professeure, département des sciences de l’éducation, Université du Québec en Outaouais.
Détectez et signalez le plagiat
La détection du plagiat est en elle-même préventive. Lorsque les personnes étudiantes savent que le plagiat est sérieusement traité par l’École, elles seront moins enclines à y recourir. Cependant, aucun outil n’est infaillible pour identifier le contenu créé par l’IAG. Vous pouvez soit :
- Autoriser explicitement l’usage de l’IAG, tout en exigeant que les membres de la classe fournissent les requêtes (prompts) utilisées ou en mettant en place des évaluations orales (présentations en classe, entretiens individuels ou d’équipes).
- Rester à l’affût de signes indiquant une éventuelle rédaction par l’IAG, comme un vocabulaire inattendu pour le niveau des personnes étudiantes ou l’absence de références. Si des doutes subsistent, discutez avec celles concernées pour vérifier leur compréhension du sujet.
[1] Peters, M., Cadieux, A. Are Canadian professors teaching the skills and knowledge students need to prevent plagiarism?. Int J Educ Integr 15, 10 (2019).
[2] Martine Peters (2023). Stop Focusing on Plagiarism, Even Though ChatGPT Is Here. Harvard Business Publishing Education.
Pour en savoir plus…
Midi pédagogogique
Pour en savoir plus sur les craintes de l’utilisation de l’intelligence artificielle générative dans un contexte d’évaluation des apprentissages, consulter la présentation de l’atelier (2,4 Mo) de réflexion collective ChatGPT et les robots conversationnels de l’IAG dans l’enseignement et l’apprentissage.