Vers une intelligence artificielle innovante

Dans son odyssée, l'intelligence artificielle (IA) a appris à se transformer favorablement. Depuis plus d'une décennie, c'est parfois par tâtonnement que les ingénieurs en IA ont pu faire évoluer les réseaux de neurones artificiels en bénéficiant d'une convergence technologique favorable. Leurs efforts ont permis des avancées, dont certaines sont spectaculaires. C'est le cas de l'IA générative, très remarquée du grand public, notamment avec ChatGTP. En 2024, une nouvelle architecture a été proposée, représentant une avancée notable qualifiable de révolutionnaire, sinon décisive pour la transparence et la précision de l'IA. L'intention de l'auteur est de faire partager cette connaissance en s'efforçant de la rendre  aussi compréhensible que possible pour un large public, malgré la complexité du sujet.

Introduction

L'IA a fait des progrès remarquables au cours de la dernière décennie, grâce à l’évolution des réseaux de neurones artificiels. Ces derniers ont été améliorés, d'abord par l’introduction des perceptrons multicouches (MLP), puis de l’apprentissage automatique (machine learning), et, plus récemment, de l’apprentissage profond (deep learning). Cela a conduit aux modèles de langage génératifs, avec des applications populaires comme ChatGPT. Toutefois ces réseaux traditionnels (MPN) sont considérés à juste titre comme des "boîtes noires" difficiles à interpréter. En 2024, une toute nouvelle architecture conduisant aux réseaux de Kolmogorov-Arnold (KAN) a été proposée par Liu et al. pour surmonter ces limitations, en offrant une meilleure transparence et une plus grande précision. Le présent article en expose les fondements, les premières performances et les défis.

Fondements respectifs des réseaux MPN et KAN

Les réseaux MPN et KAN partagent une structure plus ou moins profonde en couches de neurones artificiels, connectés par des synapses. Cependant la principale différence entre ces réseaux réside dans la façon dont ils paramètrent les fonctions d’activation.

Les MPN s'appuient sur le théorème de l'approximation universelle, qui permet d'approximer toute fonction continue sous certaines conditions. Ces réseaux sont fondés sur le modèle de neurone artificiel de McCulloch et Pitts (1943). Chaque synapse porte une valeur qui détermine la force de la connexion entre deux neurones. Durant l'apprentissage, ces valeurs ("poids") sont ajustées pour optimiser la sortie du réseau. Ce fonctionnement opaque limite l’interprétabilité des décisions.

Les KAN exploitent le théorème de représentation de Kolmogorov-Arnold (1957), lequel permet de représenter des fonctions multivariées sous forme de compositions de fonctions unidimensionnelles. Plutôt que de paramétrer la fonction d'activation fixe sur les neurones, comme dans les MPN, les KAN le font sur les arêtes du réseau. Ainsi les synapses deviennent des unités apprenables, qui effectuent des fonctions d’activation non linéaires, tandis que les neurones se contentent de sommer les sorties des synapses. Cette approche entraîne une plus grande transparence, puisqu'il devient possible de visualiser et d'analyser les fonctions d'activation apprises par le réseau.

En utilisant des courbes splines, définies par fragment par un polynôme sur chaque intervalle entre deux nœuds (neurones), pour paramétrer les fonctions d'activation synaptiques, les KAN offrent à la fois une expressivité similaire aux MPN et une capacité d’ajustement local plus précise. Cette nouvelle structure améliore non seulement l’efficacité de l’apprentissage, mais aussi la compréhension des processus internes, crucial pour des domaines comme la médecine, où l’explicabilité est essentielle.

Indications de performances des réseaux KAN

Les premières évaluations des KAN indiquent des performances impressionnantes. Par exemple, un KAN avec seulement 200 paramètres a atteint une précision de 81,6 %, tandis qu’un MPN, avec 300 000 paramètres n’a obtenu qu’une précision de 78 %. Cela montre qu’il est possible d’obtenir des résultats supérieurs avec un modèle plus compact, ce qui est particulièrement avantageux dans les contextes à ressources limitées.

Les KAN ont également montré leur efficacité lorsqu'ils sont associés à des réseaux neuronaux convolutifs (CNN). Bien que les CNN soient souvent utilisés pour des tâches de traitement d'images, les KAN sont en mesure d'offrir des performances similaires, mais avec une consommation de ressources moindre. En outre, leur compacité et leur efficacité computationnelle en font des candidats idéaux pour les dispositifs mobiles, y compris les capteurs connectés.

À terme, les KAN pourraient jouer un rôle majeur dans la recherche scientifique. Par une transparence accrue dans l'analyse des données, ils pourraient faciliter l’exploration de nouveaux phénomènes et l'amélioration des modèles existants, accélérant ainsi les découvertes scientifiques et les avancées technologiques.

Défis inhérents aux réseaux KAN

Malgré leurs nombreux avantages, les KAN présentent aussi des difficultés. L’un des principaux obstacles réside dans le temps d’entraînement. Bien que les KAN nécessitent moins de paramètres que les MPN, chaque paramètre prend plus de temps pour apprendre. Cela est dû à la complexité des fonctions d’activation utilisées par les synapses, ce qui rend difficile la parallélisation automatique des calculs. Une solution pourrait consister à regrouper ces activations de façon à distribuer la même fonction d'activation aux membres d'un groupe, en recourant notamment à la décentralisation, possible au vu de la convergence technologique.

Un autre défi concerne la profondeur du réseau.

Bien que les KAN puissent modéliser une grande variété de fonctions, cette propriété peut limiter leur capacité à approximer certaines relations complexes. Des recherches sont en cours pour surmonter cette limitation, notamment en intégrant des connaissances préalables et en affinant le choix des fonctions d’activation. Ces améliorations visent à rendre les KAN plus accessibles et pratiques, en particulier dans des domaines comme la recherche où l'extraction d'informations utiles et précises est cruciale.

Aspects législatifs et juridiques liés aux réseaux KAN

D'un point de vue général, les applications des réseaux KAN sont soumises aux lois et règlements sur la protection des données personnelles ou sensibles qui seraient utilisées. C'est en particulier le cas de l'obligation de respect du règlement général sur la protection des données en Europe (RGPD), où la collecte, le stockage et le traitement de données doivent être strictement encadrés pour éviter des violations des droits fondamentaux individuels.

Concernant l'IA, la garantie des droits fondamentaux relève du règlement européen dénommé Artificial Intelligence Act (AI Act), adopté le 13 juin 2024. Ce dernier constitue un cadre réglementaire pour l'utilisation de l'IA dans l'Union européenne. Il impose notamment la transparence sur le fonctionnement et les performances des systèmes et la traçabilité pour faciliter la surveillance et la vérification de conformité.

Les réseaux KAN, en tant que partie intégrante de l'IA, sont soumis aux mêmes régulations. Leur application porte les mêmes enjeux juridiques et législatifs que l'IA en général, au regard de la responsabilité, de la protection de la vie privée, d'éthique de l'IA. Cela concerne notamment l'explicabilité des décisions prises et les risques de biais. Sur ce plan, il semble que son architecture soit plus favorable que les précédentes.

Concernant la propriété intellectuelle, les algorithmes sous-jacents aux réseaux KAN pourraient entrer dans le cadre de la protection des droits d'auteur ou de brevets, en tenant compte de leur nature spécifique ou du caractère novateur dans les domaines de revendication.

Conclusion

Le paradigme actuel de l’IA se heurte à de nombreux défis et soulève des inquiétudes concernant l'alignement sur des valeurs humaines. Les questions de confiance sont cruciales et nécessitent des solutions pour éviter un futur dystopique.

Les réseaux neuronaux traditionnels ont largement contribué aux avancées de l'IA, mais leur manque d’interprétabilité et leur consommation élevée de ressources sont des défis majeurs. Les réseaux de Kolmogorov-Arnold (KAN) offrent une alternative prometteuse, grâce à leur architecture innovante qui améliore la transparence, l'efficacité et la précision des modèles. Ils représentent donc une avancée significative, même si des défis techniques demeurent, notamment en ce qui concerne le temps d'apprentissage et la profondeur des réseaux.

Les KAN ouvrent de nouvelles perspectives. Leur capacité à être plus compacts, tout en maintenant une précision comparable à celle des réseaux traditionnels, les rend particulièrement prometteurs pour des applications mobiles, la recherche scientifique, et d'autres domaines qui nécessitent à la fois des ressources limitées et une bonne interprétabilité.

Références

Guinier D. 2022.  L'odyssée de l'intelligence artificielle - Anticiper le futur en évitant les écueils appris du passé. Expertises, 475, 32-37.

Guinier D. 2024. La décentralisation de l'IA et son avenir - Dans un écosystème de convergence technologique. Expertises, 506, 28-33.

Kolmogorov AN. 1957. On the representation of continuous functions of several variables as superpositions of continuous functions of one variable and addition. Dokl. Akad. Nauk SSSR, 114,  953-956 (Traduction anglaise Amer. Math. Society, 1963, 28.  Sixteen papers on analysis).

Liu Z et al. 2024. KAN : Kolmogorov–Arnold Networks. arXiv:2404.19756v4 [cs.LG]
16 juin 2024, Cornell University.

McCulloch WS,  Pitts W. 1943. A Logical Calculus of the Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics, 5,  115-133.