Deep learning: from Sudoku to protein design

Published on 17 July 2023

Artificial intelligence (AI) language models impress with their ability to respond in a coherent, structured way. But when it comes to reasoning and logic, they are still limited. For example, when ChatGPT is asked to solve a grid of the famous Sudoku puzzle, the solutions it comes up with do not respect the rules, and sometimes even modify the original numbers in the grid.

Cette difficulté de raisonnement logique n’est pas spécifique aux modèles de langage mais est commune à la plupart des réseaux de neurones. Ils sont très efficaces pour extraire des informations à partir de données, mais beaucoup moins pour raisonner à partir de celles-ci. Mais combinée à des méthodes de raisonnement automatique, une IA générale devrait être capable à la fois d’apprendre et de raisonner, comme le cerveau humain.

Learning to play Sudoku

Pour le raisonnement automatique, la résolution de grilles de Sudoku, même très difficiles, est une tâche triviale lorsque les règles sont données. Mais lorsqu’il faut au préalable les apprendre, il s’agit d’un processus en deux étapes. D’abord, l’IA doit déduire les règles en observant des exemples de puzzles terminés, puis elle doit utiliser ces règles pour remplir de nouveaux puzzles. Les scientifiques des laboratoires Mathématiques et informatique appliquées Toulouse (MIAT) et Toulouse biotechnology institute (TBI) ont donc combiné deux types d’IA pour apprendre à jouer au Sudoku : un réseau de neurones pour apprendre les règles à partir d’exemples, et un « prouveur » pour appliquer ces règles à la résolution de nouvelles énigmes.

Leur méthode hybride apprend vite (en 15 minutes !) et est minimaliste : elle ne nécessite que 200 exemples de grilles complètes, soit une fraction de ce qu’exigent les autres approches. De plus, elle est transparente : la décision prise par le prouveur peut être comprise en analysant les règles qui ont été apprises. Cette « fenêtre » sur le processus en permet un meilleur contrôle et une meilleure compréhension.

From Sudoku to protein design

Proteins are macro-molecules essential to any kind of life as they fulfill many biological and biochemical functions in all living organisms. Designing new proteins has applications in health and green chemistry, among others.

From the proof-of-principle obtained on Sudoku grid solving, scientists have exploited its analogy with protein design. Seen as a "puzzle" in which the aim is to place atoms in space, learning protein models leads to learning its "rules of the game", which can then be used by automatic reasoning tools to design new proteins.

Ces recherches combinent la reconnaissance intuitive de l’apprentissage profond avec la logique méticuleuse du raisonnement automatisé. En plus de sa rapidité et sa transparence, le véritable atout de la méthode développée est sa capacité à modéliser des problèmes variés, allant de la résolution de Sudoku à des problématiques réelles comme le design de nouvelles protéines.