Des chercheurs du laboratoire ETIS ont publié un article dans la revue prestigieuse PNAS.

Alexandre Pitti, Claudio Weidman et Mathias Quoy, Digital computing through randomness and order in neural networks.

Résumé en français

Dans ce papier, nous faisons l’hypothèse que le cerveau effectue un codage numérique de l’information. Contre-intuitivement, nous pensons que le cerveau surmonte le problème de sa très grande dimensionalité et du manque de fiabilité de ses neurones en exploitant des connexions synaptiques aléatoires. Les équations théoriques et les simulations informatiques montrent qu’étonnamment, un tout petit nombre de neurones, très peu fiables, est suffisant pour coder des séquences formées à partir d’éléments pris dans un répertoire pouvant aller jusqu’à un milliard de valeurs différentes. Autrement dit, malgré la faiblesse des capacités d’apprentissage des neurones, qui génèrent une part importante d’erreur, les connexions aléatoires aident à représenter de manière exacte l’information de départ, sans perte de détails. Ce résultat nous a conduit à dériver pour la première fois une équation générale des capacités d’apprentissage dans les réseaux de neurones artificiels, liée à la notion d’entropie et au nombre de neurones dans celui-ci. Ces équations nous permettent aussi de démontrer que notre modèle neuronal suit la limite théorique de Shannon en terme de capacité de stockage d’information. Ceci a de profondes implications en neurosciences computationnelles et en Intelligence Artificielle sur la compréhension des mécanismes d’apprentissage et de mémoire, le développement de nouvelles architectures neuronales efficaces et frugales, et vers le développement d’une théorie neuronale de l’information.

English abstract

We hypothesize that the brain performs some kind of digital computing to overcome the unreliability of its neurons by exploiting random synaptic connections. Theoretical equations and computer experiments show that surprisingly, only a small number of neurons is enough for coding sequences formed from items taken within a repertoire of a billion different values. Despite the learning limitation of neurons, which perform large errors, random connections help to generate high entropy, conveying maximum information simultaneously. This result led us to derive a general equation of the learning capabilities in neural networks, which has deep implications in neuroscience modeling and artificial intelligence toward developing a neural information theory.