Pertinence et Intelligence artificielle

La recherche de « pertinence » – trouver l’adéquation entre une idée et une action, un projet – est bousculée, stimulée, par l’intelligence artificielle qui sait analyser massivement les mégadonnées et en extraire des préconisations. Mais quel rôle pour l’humain face aux vertigineux défis de la société numérique ?

L'évaluation de pertinence est une nécessité qui a largement évolué depuis ses racines profondes. Elle est actuellement répandue dans de nombreux domaines avec des pratiques contemporaines. Opérant d'ordinaire du jugement humain, elle est aujourd'hui en mesure de bénéficier de l'intelligence artificielle (IA) en relevant certains défis, sous certaines conditions, et en veillant à une répartition judicieuse des rôles avec les opérateurs humains. L'auteur en présente l'évolution historique, les concepts et déterminants, et les perspectives, en relation avec des questions primordiales telles que :

Qui décide - les humains ou l'IA ? Eventuellement les deux ?

Et, dans cette éventualité : Comment les humains et l'IA peuvent-ils collaborer ?

L'évaluation de pertinence dans l'histoire

Les notions d'évaluation et de pertinence relèvent de pratiques contemporaines, mais leurs racines remontent à plusieurs millénaires, au cours desquels elles ont évolué en s'élargissant au gré de la pensée et des progrès humains, des politiques et des besoins.

Dans l'Égypte ancienne, depuis les premières dynasties (3100 avant notre ère), le concept de maât fournissait les normes morales et éthiques essentielles pour guider l'évaluation. Dans la Chine antique, cette dernière reposait sur des doctrines qui ont influencé la pensée chinoise pendant des siècles. Notamment Confucius (551-479 avant notre ère.) mettait l'accent sur le besoin de se perfectionner, et sur la moralité et les relations sociales harmonieuses. Les fonctionnaires gouvernementaux étaient choisis d'après leurs mérites, leurs compétences et leur intégrité, et évalués sur leur capacité à servir le peuple et à maintenir l'ordre social.

Des traces de réflexion sur la pertinence sont retrouvées dans les écrits des philosophes grecs anciens. Socrate (469-399 avant notre ère) a influencé la manière dont la pertinence est considérée dans la philosophie occidentale, par une méthode de questionnement ciblé amenant ses interlocuteurs à examiner leurs propres croyances et à en déterminer la sagacité et la validité. Platon (427-347 av. J.-C.), a mis l'accent sur la recherche de la vérité en explorant comment les arguments s'articulent pour conduire à une compréhension plus profonde de la réalité. Il a souligné l'importance de soumettre des questions judicieuses à la critique pour atteindre la vérité sur la base de propositions contradictoires. A son tour, Aristote (384-322 avant notre ère) a contribué à la compréhension de la pertinence dans un cadre philosophique et conceptuel, en cherchant à évaluer la nature de la réalité, de la connaissance et de l'éthique.

Au Moyen Âge, l'Église a joué un rôle central dans la société pour influencer les valeurs morales. Les premières universités médiévales ont commencé à développer des systèmes d'évaluation intégrés aux pratiques académiques, alors que la logique et la rhétorique occupaient une place importante dans les enseignements, tout comme la scolastique, où la notion de pertinence était souvent intégrée aux débats  pour encourager l'examen critique des arguments dans les textes classiques et religieux, conciliant ainsi l'apport des philosophes grecs avec la théologie chrétienne.

Durant la Renaissance, la redécouverte des textes classiques et le développement de la pensée critique ont contribué à poursuivre la réflexion sur la pertinence. Des penseurs, comme Francis Bacon (1561-1626), l’un des pionniers de la pensée scientifique moderne, ont souligné l'importance de la pertinence des données empiriques dans le développement de nouvelles idées, remettant en question les notions anciennes de vérité. C'est à cette époque que sont apparues les premières entreprises commerciales modernes, impliquant des pratiques plus élaborées pour en mesurer les performances financières et commerciales.

Au 17ème siècle, des philosophes comme René Descartes (1596-1650) ont créé des méthodes pour évaluer la pertinence en se fondant sur des critères de clarté, de cohérence et d'évidence, engendrant une nouvelle approche de la pertinence, étroitement liée à la méthode de la raison et à la recherche de la vérité. Alors, la pertinence se trouve dans la capacité des idées à résister au doute et à être établies comme vraies et indubitables par le processus de la raison.

Cette approche rationnelle établit des fondements solides pour la philosophie et la science. Au 18ème siècle, à l'époque des Lumières, les philosophes échangent idées et connaissances pour contribuer au progrès de la science, s'opposant à l'obscurantisme des autorités religieuses et politiques.

A l'ère moderne, avec la révolution industrielle, l'évaluation est devenue plus systématique dans le domaine de la production et de l'efficacité économique. Au 20ème siècle, elle a pris de l'importance, notamment dans le domaine de l'éducation. Dans le domaine de la psychologie, des approches plus scientifiques de l'évaluation ont émergé pour mesurer les compétences cognitives, les traits de personnalité, etc. Avec l'essor de la recherche scientifique, et l'avènement de l'Internet, elle a pris de plus en plus d'importance dans la sélection d'informations en ligne, et des algorithmes de recherche ont été conçus pour classer les résultats en fonction de leur pertinence par rapport aux requêtes des utilisateurs.

En explorant la pertinence dans des contextes variés, les philosophes ont contribué à développer des méthodes et des cadres conceptuels pour évaluer les idées, les actions et les valeurs, et à façonner notre compréhension de la pertinence dans de nombreux domaines. Ils ont aussi offert des perspectives qui continuent d'influencer la pensée contemporaine sur l'évaluation et la critique.

La pertinence a  ainsi évolué au fil des siècles, passant d'une préoccupation philosophique à une notion centrale dans la recherche, la communication et la gestion de l'information dans le monde contemporain. Son évaluation est marquée par l'importance accordée à la logique, à la rationalité et à l'évidence empirique dans la prise de décision et la formulation de théories à travers les âges.

Aujourd'hui, l'évaluation est omniprésente dans de nombreux domaines, et les avancées techniques, telles que l'IA et l'analyse massive de mégadonnées (big data), transforment la manière dont elle est effectuée, en permettant des analyses plus approfondies et des prédictions souvent précises. Ainsi l'évaluation de pertinence évolue, apportant de nouveaux défis et opportunités liés à la numérisation et aux changements rapides dans les domaines technologiques et de la société numérique. Elle pose aujourd'hui la question du partage entre l'intelligence humaine et de l'IA à son égard.

Les concepts et déterminants de l'évaluation de pertinence

La pertinence est un concept figurant ce qui est approprié, significatif ou utile dans un contexte donné. Elle exprime l'adéquation entre une information, une idée ou une action et les besoins, les objectifs ou les circonstances d'une situation donnée. A son tour, l'évaluation est un processus d'analyse et de détermination de la valeur, de la qualité, de l'efficacité ou de la pertinence d'une information, d'un objet, d'une action, d'un système ou d'une situation par rapport à des critères préétablis pour un contexte donné. L'évaluation est présente dans de nombreux domaines, tels que l'éducation, la recherche, la santé, les affaires, la technologie, la technique, etc. Elle peut être qualitative ou quantitative, objective ou subjective, selon le contexte et des objectifs spécifiques. Son but principal est d'informer la prise de décision, d'améliorer des performances, de guider les politiques et les pratiques, ou de fournir des informations utiles pour des actions futures.

Ainsi l'évaluation de pertinence relève à la fois de notions abstraites ou d'activités qui impliquent des actions concrètes. Elle joue un rôle crucial dans la prise de décision, laquelle est affectée par des attentes et des choix. Les attentes sont perçues comme une sélection biaisée des informations retenues dans le processus de prise de décision. Elles relèvent de perceptions différentes selon les individus, ce qui modifie la réalité en fonction des ambitions et aspirations personnelles. Quand les procédures liées aux choix sont standardisées pour maintenir les règles et éviter l'incertitude, elles ont également un effet régulateur sur les objectifs personnels des individus et la portée réelle des décisions.

En plus du contexte, des objectifs et des besoins, la pertinence peut être évaluée en fonction de la fiabilité et de la crédibilité de l'information, et des répercussions potentielles ou de l'impact d'une décision, d'une action ou d'une information. Des préalables s'imposent pour clarifier l'ensemble et identifier les critères avec le moins de biais possible, en considérant diverses perspectives et répercussions. Cela conduit à solliciter des avis externes et à recourir à des outils, possiblement fondés sur l'IA. La question restante est de savoir à qui incombe la responsabilité de déterminer ce qui est pertinent ou non : une personne seule ou un groupe, ou encore un système d'IA ? C'est ce que nous allons voir, en examinant diverses approches de la palette des instances combinant l'évaluation humaine et par l'IA.

Les perspectives pour l'évaluation de pertinence avec l'IA

Il est essentiel de savoir si les informations issues de résultats de recherches sur l'Internet, de réponses à des questions, d'interrogations de bases de connaissances, etc., sont pertinentes au regard des besoins et intentions des utilisateurs. A l’ère de l’IA et, notamment,  de l'IA générative fondée sur les grands modèles de langage (LLM), l’évaluation de la pertinence, d'ordinaire humaine, est en passe de connaître une transformation profonde à propos de la décision qui pourrait être laissée à une IA, avec ou sans intervention humaine. Pour cela, il s'agit d'abord de déterminer ce qui est pertinent selon certains critères, et quels sont les avantages intrinsèques des capacités humaines, de la puissance de l’IA et de leur combinaison, avant de songer à ce que l'automatisme d'une IA se substitue au raisonnement humain fondé sur l'expérience, le doute et la capacité de créer.

Des travaux récents sur la recherche d'informations sur l'Internet et sur l'interaction homme-machine, comme ceux de Faggioli et al., ont montré que les jugements générés par IA générative s'accordent plus ou moins souvent avec l'évaluation humaine. En revanche, il existe certains problèmes avec une approche entièrement automatisée qui ne peuvent être résolus par une solution technique. Il s'agit notamment de biais de jugement, de résilience ou de fourniture d'informations erronées, de difficultés d'entraînement, etc., ou de sous-représentation comme il a été montré par  Bender et al.

Plutôt que d'énoncer les motifs pour lesquels l'IA remplacerait les humains dans l'évaluation de pertinence, ou ceux pour lesquels elle en serait exclue, nous présentons ici les perspectives fondées sur des options combinant l'intelligence humaine et l'IA afin d'en tirer le meilleur profit, à partir d'une palette de possibilités.

L'approche purement humaine

Dans l'approche purement humaine, les opérateurs décident de ce qui est pertinent sans aucun soutien de l'IA. Ils ont le contrôle total de la décision, mais peuvent être soutenus par une interface ad hoc et sont considérés comme les seuls arbitres fiables. A cet égard, ils bénéficient de leur capacité d'interpréter le contexte dans lequel une décision doit être prise, et de saisir des nuances pouvant contribuer à une évaluation approfondie de la pertinence. De plus, ils ont une bonne aptitude d'analyse critique sur la fiabilité et la crédibilité d'informations et les implications d'une décision. Enfin leur expertise dans un domaine spécifique peut être précieuse, y compris dans des scénarios variés ou complexes du fait de leur capacité d'adaptation.

L'approche reposant sur l'IA

L'approche purement automatique reposant sur l'IA nécessite que les systèmes d'IA soient capables de juger la pertinence de manière fiable quel que soit le contexte, et par conséquent qu'une telle performance soit détectable. Ce n'est pas encore le cas pour qu'ils puissent remplacer complètement les humains en la matière.

En revanche, les modèles d'IA générative sont en mesure de traiter rapidement des quantités de données très volumineuses, ce qui peut être utile pour recueillir des informations pertinentes à partir de vastes ensembles de données. Par ailleurs, ces modèles peuvent être formés pour comprendre et générer des contenus pertinents dans différents domaines et de différents médias : textes, images, sons ou vidéos, mais aussi pour prédire la pertinence d'une information ou d'une action dans un contexte donné.

Les approches combinées

Dans les approches combinées, les opérateurs humains fournissent des retours aux systèmes d'IA prenant des décisions ou, de façon réciproque, les systèmes d'IA aident les premiers selon divers niveaux d'interdépendance. Cela correspond à deux options complémentaires.

Dans la première, le jugement est produit par l'AI, puis vérifié par des humains, pour être accepté ou rejeté et éventuellement soumis une nouvelle fois à l'IA après certaines précisions, pour obtenir une meilleure réponse, comme l'a montré Guinier (2023) concernant l'amélioration des résultats avec l'IA générative. Ces retours aux systèmes d'IA sont destinés à les aider à comprendre et à produire des contenus plus pertinents, ce qui concerne tout particulièrement l'IA générative. Par ailleurs, plusieurs systèmes d'IA pourraient chacun générer un jugement tandis qu'un humain n'interviendrait qu'en cas de désaccord pour sélectionner le résultat qui lui paraît le plus judicieux. Les humains ne seraient alors sollicités que dans des situations où la confiance dans les résultats de l'IA est faible, ou encore pour des décisions délicates. Dans la seconde, un niveau de soutien automatique est fourni aux évaluateurs humains par l'IA pour les aider à élaborer des jugements complexes plus fiables.

En combinant l'expertise humaine avec les capacités de l'IA générative, il est aussi possible de disposer d'un ensemble d'évaluation robuste, permettant de considérer différents points de vue et perspectives, et d'obtenir des évaluations de pertinence plus complètes et précises.

Les questions en suspens

En vue d'obtenir des décisions de pertinence à la fois rentables, justes et de haute qualité, il s'agit de trouver la bonne répartition des rôles et des tâches en fonction des compétences de chacun : opérateurs humains et IA, et de ne pas écarter les questions en suspens.

Les plus importantes concernent l'explicabilité en apprentissage automatique, la difficulté de relier la décision d'une IA à sa justification rationnelle comme il a été vu par Fok et Weld (2023), alors que la tendance humaine est de trop se fier aux machines. D'autres se rapportent aux tâches du processus de prise de décision par l'IA qui nécessitent l'intervention humaine, ou encore, aux tâches humaines qui en aucun cas ne devraient être prises en charge par l'IA. Des réponses sont à apporter pour savoir dans quels cas les jugements de pertinence humains peuvent être entièrement remplacés ou non par l'IA.

Une démarche exploratoire se révèle indispensable pour parvenir à une approche collaborative synergique qui permette d'évaluer la pertinence de manière optimale en combinant les capacités humaines et celles de l'IA. Elle nécessite la détermination de critères précis pour un domaine spécifique, la collecte et le prétraitement des données qui reflète différents aspects de la pertinence, la modélisation et l'entraînement des modèles d'IA. Elle portera aussi sur les mécanismes de recueil d'expérience humaine et d'ajustement, pour permettre une amélioration continue, en s'aidant de la fusion des résultats des évaluations humaines et des prédictions de l'IA, pour être en mesure d'obtenir une évaluation globale de la pertinence.

Conclusion

La notion d'évaluation de pertinence, bien qu'ancrée dans des pratiques contemporaines, tire ses racines depuis des siècles d'évolution, durant lesquels diverses approches ont été influencées par la philosophie, la théologie et les avancées scientifiques. A l'époque contemporaine, l'évaluation de pertinence entre dans une nouvelle dimension. Les progrès techniques et de l'IA offrent des possibilités sans précédent pour analyser de vastes ensembles de données et fournir des recommandations. Cependant, s'il est possible d'évaluer la pertinence de manière plus approfondie pour des décisions plus éclairées et plus rapides, des questions restent en suspens et des défis sont à relever avant l’adoption généralisée de l’IA.

La compréhension actuelle apparaît insuffisante pour laisser les modèles et systèmes d'IA juger seuls de la pertinence, sans intervention humaine. L'approche collaborative des humains travaillant avec les IA n'est pas une option. Elle est probablement inévitable et constitue le principe d'un avenir dans lequel humains et IA s'associent pour tirer le meilleur parti de la combinaison de leurs forces mutuelles. Les humains apportent leur expertise, leur jugement critique et leur compréhension du contexte, tandis que l'IA permet des analyses rapides et des prédictions basées sur d'énormes quantités de données.

Des recherches sont attendues pour développer un cadre éthique, transparent et explicable pour l'IA, mais aussi pour la collaboration entre les experts en IA et les praticiens des domaines concernés. Il s'agit en particulier de savoir comment l'intelligence humaine et l'IA peuvent collaborer au mieux en répartissant les rôles et les tâches en fonction des compétences de chacun. Par conséquent, un équilibre harmonieux, fondé sur les apports respectifs des capacités humaines et de l'IA, devra être trouvé pour espérer créer des systèmes d'évaluation plus robustes, équitables et efficaces, de telle sorte qu'ils contribuent à une prise de décision mieux informée et éclairée, dans un contexte donné.

Références

Bender EM et al. 2021. On the dangers of stochastic parrots : Can language models be too big?, ACM Conference on Fairness, Accountability, and Transparency, Virtual Event. Toronto, 3-10 mars, 610-623.

Faggioli G et al. 2023. Perspectives on large language models for relevance judgment. Proceedings of the 2023 SIGIR conference on the theory of Information retrieval, 39–50.

Faggioli G et al. 2024. Who Determines what is relevant? Humans or AI? Why Not Both?,  Communications ACM, 67(4), 31-34.

Fok R,  Weld DS. 2023.  In Search of Verifiability : Explanations rarely enable complementary performance of AI-advice decision making.

Guinier D. 2023. ChatGPT : Intelligence artificielle générative et code informatique. Revue Experts, 171, 20-25.