Catégories
Tests

Une compréhension critique de ChatGPT

Depuis fin 2022 un invité particulièrement bavard s’est invité à la table des conversations. Il s’agit de ChatGPT, un prototype de système conversationnel se présentant comme un ChatBot utilisant l’intelligence artificielle, développé par OpenAI. Cette société est spécialisée dans le raisonnement artificiel.

Entre scénario de film d’anticipation (on pense au film HER) et quittant les laboratoires pour arriver dans le grand public et dans l’enseignement, ces technologies fascinent autant qu’elles suscitent des inquiétudes. Ces questions sont d’ordre pédagogiques (que vont devenir les travaux à la maison ? quel impact sur l’engagement des étudiant·es …). Elles posent aussi des questions éthiques et de développement durable.

Ce premier article propose une première exploration du sujet d’un point de vue pédagogique. L’objectif est de comprendre et situer ces solutions, dans leurs usages et leurs limites. Il cite et renvoie vers une sélection (évolutive) de ressources dans le contexte de l’enseignement supérieur documentées dans ce mur collaboratif Padlet.

Agent conversationnel, kesako ?

Dans cette vidéo au titre évocateur, Thibaut Giraud et Lê Nguyên Hoang (chercheur et médiateur scientifique à l’EPFL) vulgarisent ce qu’est un modèle de langage comme ChatGPT. Ils pointent notamment ce à quoi les modèles de langage sont entraînés. Ils montrent des tests, où l’on voit que le système ne « répond » pas, mais bien comment il « prédit » les réponses plausibles. Ce qui en fait une machine à « baratin ».

ChatGPT prédit des réponses à vos requêtes

Si ChatGPT prédit des réponses plausibles à vos questions, ces dernières sont-elles suffisamment détaillées ? Nos collègues de l’UQAM suggèrent d’apprendre à parler l’IA. Ils rappellent quelques éléments utiles pour obtenir des réponses satisfaisantes au moment de compléter les boîtes de dialogue des agents conversationnels comme ChatGPT :

  • Il est nécessaire de fournir des informations détaillées et cohérentes
  • La qualité des réponses dépend de la qualité des questions et des instructions fournies
  • Le système tient compte de l’historique des échanges pour fournir d’autres réponses plus approfondies
  • Chaque fil de conversation peut être sauvegardé séparément

Le même article formule des recommandations pour un usage plus efficace tels que :

  • Formuler des questions claires
  • Contextualiser les questions avec des informations spécifiques
  • Demander de l’aide à l’IA pour clarifier les questions
  • Fournir des exemples concrets pour mieux définir les attentes.

ChatGPT est-il fiable ?

Si vous maîtrisez mieux l’art du « prompt » lors de la formulation de vos requêtes, les réponses formulées par le système sont-elles toujours fiables ?

Pour le savoir, Elie Allouche et ses collègues ont effectué un « entretien » avec ChatGPT, en documentant chaque question posée au système et les réponses générées. Pour chaque réponse, ils ont formulé des réserves en se basant sur les connaissances de la littérature scientifique sur le sujet et en vérifiant les références proposées pour émettre un avis.

Voici un extrait des conclusions :

« Les réponses fournies doivent donc être traitées avec la plus grande vigilance en raison même de la performance technologique affichée – la simulation d’une conversation humaine – et du risque d’argument d’autorité que peuvent constituer les affirmations sur les données massives mobilisées, sans vérification systématique de leur véracité – cette vigilance contre l’argument d’autorité étant par ailleurs une règle générale, et l’un des « outils d’auto-défense intellectuelle » dans le cadre d’une formation à l’esprit critique« .

Extrait des conclusions provisoires de l’article intitulé : « Tests et simulations d’entretien avec ChatGPT (Open AI) »

Un SWOT de ChatGPT

Pour préparer les ateliers de sensibilisation avec les enseignant·es, l’équipe du Louvain Learning Lab a réalisé ce premier SWOT (non exhaustif) afin de d’identifier les principales forces, faiblesses, opportunités et les menaces de ce système d’intelligence artificielle.

Forces

  • La qualité des « réponses » dépend de la requête formulée
  • Ces systèmes permettent d’envisager une polyvalence d’usage
  • Des technologies pour assister l’exploration de sujet
  • Des technologies pour apporter un gain de temps
  • Des solutions qui tiennent compte du feedback
  • Un usage multilingue

Opportunités

  • Des technologies pour lesquelles il est souhaitable de changer de pratiques pédagogiques
  • Développer les compétences numériques des étudiant·s ET des enseignant·es
  • Développer les compétences d’esprit critique

Faiblesses

  • Les réponses générées doivent être vérifiées
  • Les réponses manquent de nuance
  • Les réponses ne tiennent pas compte du contexte
  • Les sources, si elles sont mentionnées, doivent être vérifiées
  • Limités à certains types de production, i.e. pas de carte mentale ou de carte conceptuelle
  • Les sources et la modération de données manquent de transparence
  • Les sources peuvent comporter des biais

Menaces

  • Une exploitation superficielle de ces solutions dans les productions
  • Manque de vérification des sources et de la véracité des réponses
  • Un usage trompeur des capacités à argumenter et à structurer une pensée
  • Une pensée uniformisée

Situer ChatGPT dans un inventaire

Pour un inventaire plus complet des intelligences artificielles appliquées à l’éducation (IAed), nous vous renvoyons vers l’état de l’art et de la pratique de l’intelligence artificielle dans l’éducation (Holmes & Tuomi, 2022).

La section 3 de cet article traduit en français par F. Bocquet, propose une taxonomie de l’IAed et classe les outils et les applications de l’IAEd dans une typologie de trois catégories distinctes mais qui se chevauchent :

  • l’IAEd au service de l’élève
  • l’IAEd au service de l’enseignant
  • l’IAEd au service de l’institution

Les applications de l’IAEd sont identifiées comme étant soit spéculatives, soit étudiées, soit déjà disponibles.

Des perspectives d’usages

L’intelligence artificielle comme agent de tutorat figure parmi les usages de l’intelligence artificielle cités par Holmes & Tuomi.
Jacques Rodet a testé et questionné les apports et les limites de ChatGPT pour assurer un tutorat à distance des apprenants. 

Les auteurs de ce guide guide de l’usage de ChatGPT à l’usage de l’enseignant·e proposent des exemples spécifiques pour comprendre comment ChatGPT peut être intégré dans les pratiques pédagogiques.

Vers un usage éthique de l’IA dans l’éducation

Plusieurs institutions s’emparent du sujet. L’UNESCO, la Commission européenne abordent de manière critique le potentiel à venir de l’IA dans l’éducation. 

La commission européenne propose des lignes directrices éthiques sur l’utilisation de l’intelligence artificielle (IA) et des données dans l’enseignement et l’apprentissage à l’intention des éducateurs. Ces lignes directrices sont conçues pour aider les éducateurs à comprendre le potentiel des applications de l’IA et de l’utilisation des données dans le domaine de l’éducation et pour les sensibiliser aux éventuels risques qu’elles comportent.

La Déclaration de Montréal pour un développement responsable de l’intelligence artificielle poursuit 3 objectifs :

  • Élaborer un cadre éthique pour le développement et le déploiement de l’IA
  • Orienter la transition numérique afin que chacun puisse bénéficier de cette révolution technologique
  • Ouvrir un espace de dialogue national et international pour réussir collectivement un développement inclusif, équitable et écologiquement soutenable de l’IA.

Quels impacts sur l’apprentissage et les activités ?

Zhai (2022) identifie plusieurs natures d’impacts dans le contexte de l’enseignement : sur les objectifs d’apprentissage, sur les activités d’apprentissage ainsi que les pratiques d’appréciation et d’évaluation.

A l’UCLouvain, il occasionne une réflexion de l’impact sur les pratiques d’évaluations telles que les productions à la maison, les travaux de groupe et la rédaction des mémoires.

Ces réflexions et tests feront l’objet d’échanges lors des ateliers animés à l’occasion des LLWeeks du LLL. A bientôt !

Par Pascal Vangrunderbeeck

Conseiller pédagogique au numérique, coordonnateur de la cellule numérique. J'aide les enseignant·es à concevoir et à animer des expériences de formation intégrant les usages critiques et réflexif du numérique. #HyFlex #Gamification #LearningSpace