Accueil Orientation générale Barre de recherche

DicoNombre DicoMot Math DicoCulture

Atlas des maths Rubriques Index alphabétique

Nouveautés Actualités Références

Édition du: 11/11/2024 M'écrire Brèves de Maths

INDEX Logique Algorithme Programmation Multimédia	LOGIQUE et IA
	Introduction	Algorithmes	Jeux	Théorie
	Humaine	Machine de Turing	Systèmes experts	Rx neuronaux
	Programmation	Automate	Lambda-calcul	Robots
	Historique	Algorithmes TOP 15	ChatGPT	IA Avancée

RÉSEAUX DE NEURONES ARTIFICIELS (RNA) Réseau neuronal Neuronique Neuromimétique Connexionisme Neural network Deep learning ou apprentissage profond (ou automatique) AuotoML Système qui imite les neurones vivants. À force d'apprentissage, le système s'imprègne des conclusions à donner face à une situation nouvelle. Après avoir connu une période de doute (années 1990), les réseaux de neurones sont de nouveaux très utilisés. Voir un point rapide sur leur fonctionnement et l'état de l'art en 2016 >>> Le terme "deep learning or machine learning – apprentissage profond" date de 1959. Il est dû à Arthur Samuel, un informaticien d'IBM. Il s'applique aux ordinateurs capables d'apprendre sans être directement programmés.
	Sommaire de cette page >>> Approche >>> Domaine et propriétés >>> Réseaux à apprentissage >>> Réseaux neuronaux >>> Circuit et loi de Hebb	>>> Historique >>> Le point en début 2015 >>> Le point en début 2016 >>> Domaine de la neuronique >>> Réseaux collaboratifs >>> Automated machine learning	Débutants Logique Glossaire Logique

Lire au préalable: Traitement automatique de l'information

Voir Dilemme de Sita – Amusement, sérieux.

Voir Pensées & humour

Actualité 2018

Voir Taille de la gravure des microprocesseurs

Approche

Les réseaux de neurones

Ces réseaux ont été développés pour résoudre des problèmes:

de contrôle,

de reconnaissance de formes ou de mots,

de décision, et

de mémorisation.

Ils sont en relation plus ou moins étroite:

avec la modélisation de processus cognitifs réels, et

des réseaux de neurones biologiques.

Applications

Ils sont couramment employés dans de nombreuses machines, comme celles qui effectuent la reconnaissance de votre écriture sur des bons de commande ou à la Sécurité Sociale.

Ils sont utilisés en radars et en sonars pour reconnaître des signaux, des formes ou des sons.

Définition

Les réseaux de neurones artificiels sont des réseaux fortement connectés de processeurs élémentaires fonctionnant en parallèle.

Chaque processeur élémentaire calcule une sortie unique sur la base des informations qu'il reçoit.

Toute structure hiérarchique de réseaux est évidemment un réseau.

D'après Claude TOUZET - Auteur de cours sur le sujet

Structure d'un réseau de neurones

Les réseaux de neurones reposent sur des associations de valeurs, de simples chiffres, à l'aide de fonctions mathématiques reliant les sorties aux entrées. Chaque point d'une image, ou d'un texte, se voit attribuer des valeurs d'entrée. Toute la magie repose sur l'entrainement des fonctions à mémoriser les situations rencontrées (entrées et sorties connues) pour réussir à effectuer une tâche nouvelle de manière cohérente pour nous.

Source image: Découverte n°446 – Juillet-septembre 2024

Réseaux de neurones

Domaines

	NEURONIQUE
	Étude, modélisation & utilisation des réseaux de neurones.
CONNEXIONNISTES		NEUROMIMÉTICIENS
Améliorent les capacités de l'informatique en utilisant des modèles aux composants fortement connectés.		Manipulent des modèles de réseaux de neurones artificiels dans l'unique but de vérifier leurs théories biologiques du fonctionnement du système nerveux central.

Propriétés

Les réseaux neuronaux sont universels, capables de résoudre tous les problèmes comme la machine de Turing.

Les réseaux de neurones se comportent plus d'une façon adaptative que programmée. Ils sont capables de fonctionner même en présence d'une information partielle ou d'une information brouillée.

Ils fonctionnent comme une machine de classification qui extrait les traits caractéristiques des objets présentés lors de l'apprentissage, pour réorganiser sa connaissance en conséquence.

RÉSEAUX à APPRENTISSAGE

Seul le résultat compte. On y arrivera après de nombreux essais au cours desquels le système va distinguer les spécificités de telle ou telle solution pour ne plus les confondre. La seule contrainte est de montrer inlassablement le résultat attendu au système. Lorsque le système donne lui-même le résultat attendu dans une grande majorité des cas, l'apprentissage est terminé. Exemple 1 – Aller au bureau, au supermarché … On va au bureau, le système suit le parcours. Le système enregistre un certain nombre de paramètres, du type: " attention après la station à essence, je tourne à gauche " ---- On recommence: Raté il va dans la rue d'à côté. On lui montre qu'il s'est trompé. Il enregistre quelques repères complémentaires pour mieux reconnaître son chemin. ---- On recommence: ça marche! On le perturbe en lui montrant comment aller au supermarché. ---- Il se plante aussi bien pour y aller que pour aller au bureau. Les paramètres enregistrés n'étaient pas suffisants pour obtenir le résultat à tout coup. Il enregistre encore d'autres paramètres pour "durcir" ses solutions ---- Etc. Exemple 2 – Reconnaître le chant du rossignol Écoute un rossignol et enregistre: la hauteur du son, son timbre, sa mélodie Écoute un canari et note: les différences avec les paramètres pour le rossignol. A ce stade, le système saura sûrement reconnaître le rossignol du canari et même rejeter le corbeau. Par contre, il se peut que le pinson le trouble. Il faut poursuivre l'apprentissage. L'outil neuronique, ainsi conçu, est un outil de reconnaissance automatique au service de l'homme. Apprentissage On montre les résultats à atteindre et le système trouve seul la manière d'y arriver. Un peu comme on éduque un jeune chiot, ou même un bébé.

RÉSEAUX NEURONAUX

Avec les réseaux neuronaux On peut partir d'algorithmes médiocres et les laisser améliorer leurs capacités grâce à l'expérience. Plutôt que d'indiquer pas à pas comment parvenir au résultat recherché, on fournit simplement des données à ces réseaux qui, suivant un processus d'apprentissage, comparent leur résultat à celui recherché pour tenter ensuite de s'en rapprocher au mieux Les réseaux neuronaux sont composés de plusieurs couches de cellules reliées entre elles et formant une vaste toile. Ce réseau est capable d'ajuster la force de ses propres interconnexions, exactement comme cela se passe pour celles du cerveau humain, lors de l'apprentissage Ces réseaux ont la faculté de reconnaître les visages, les voix, les règles du jeu des dames ou des échecs, à stabiliser un hélicoptère On parle d'algorithmes génétiques. Mais il est difficile de comprendre pourquoi et comment ça marche. Le résultat obtenu est une sorte de boite noire qu'il faudrait ouvrir pour en saisir le mécanisme. Et sans cela, comment être sûr que le fonctionnement est parfait, sans comportement imprévu? Difficile d'apprécier si le but est atteint ou presque atteint? (Fonction, de fitness) L'évolution et la sélection n'est pas forcément suffisante pour arriver au mieux, à la solution la plus astucieuse. L'objection peut être résumée par la formule: les avions à réactions ne battent pas des ailes Cette puissance de calcul est plus adaptée à l'étude du génome, la gestion du trafic aérien, la recherche du pétrole, la prévision météorologique, autant de domaines dans lesquels il est nécessaire d'explorer en parallèle un grand nombre de possibilités pour trouver un résultat. Réseaux de neurones – Caractérisation Type: Calculateur classique Réseaux neuronaux. Processeur: Complexe, haute vitesse, unique ou peu nombreux; simple faible vitesse, grand nombre. Mémoire: séparée du processeur, localisée, accès par adressage; intégrée au processeur, distribuée, adressable par le contenu. Traitement: centralisé, séquentiel, sur programmes enregistrés; distribué, parallèle, auto apprentissage. Fiabilité: très vulnérable; robuste. Expertise: manipulation de nombres et de symboles; problèmes perceptifs. Autres: apprentissage, adaptabilité, capacité de généralisation, traitement contextualisé des informations, représentation distribuée des informations, parallélisme massif.

CIRCUIT et LOI de HEBB

PRINCIPE DE FONCTIONNEMENT du réseau de neurones Le principe est celui d'un automate: SORTIES = f (ENTRÉES et, des SORTIES précédentes) Automate dont les entrées sont pondérées et la fonction de transfert adaptée SORTIES = f(ENTRÉES pondérées et des SORTIES précédentes) Les pondérations sont données par le système au fur et à mesure de l'apprentissage. Principe des réseaux multicouches LOI de HEBB La force des connexions synaptiques à l'entrée du neurone peut s'adapter, pour obtenir l'activité requise au niveau de la synapse de sortie. Si deux cellules sont activées en même temps alors la force de la connexion augmente.

HISTORIQUE
1890	W. James	Introduit le concept de mémoire associative.
1942	Norbert Wiener	Boucle de rétroaction cybernétique.
1943	McCulloch et Pitts	Modèle formel de neurone biologique.
1949	Hebb	Explique le conditionnement chez l'animal par les propriétés des neurones eux-mêmes. Loi pouvant expliquer le phénomène d'apprentissage.
1957	Frank Rosenblatt	Perceptron, premier neuro-ordinateur, première tentative de reproduire le cerveau de l'homme.

Perceptron

Algorithme inventé en 1957 par Frank Rosenblatt, au sein du Cornell Aeronautical Laboratory. Études inspirées par les théories cognitives de Friedrich Hayek et Donald Hebb.

La première implémentation du perceptron fut effectuée sous la forme d’un logiciel pour l’IBM 704, mais il a ensuite été implémenté dans une machine créée spécialement pour l’occasion baptisée Mark 1.

Conçue pour la reconnaissance d’image, elle regroupait 400 cellules photoélectriques connectées à des neurones. Les poids synaptiques étaient encodés dans des potentiomètres, et les changements de poids pendant l’apprentissage étaient effectués par des moteurs électriques. Cette machine est l’un des tout premiers réseaux de neurones artificiels.

Le perceptron ne comportait qu'une seule couche. Avec les progrès de la technologie, les multicouches permirent de traiter les problèmes complexes.

1960	B. Widrow	Développe le modèle Adaline à l'origine de l'algorithme de rétropropagation de gradient très utilisé aujourd'hui avec les Perceptrons multicouches.
1969	Minsky et Papert	Démontrent qu'une classe de problème ne peut pas être résolue par le perceptron. Ils donnent les limitations théoriques du perceptron et de la neuronique. Les financements se dirigent les systèmes experts.
1982	John Hopfield	On lui doit le renouveau d'intérêt pour les réseaux de neurones artificiels: perceptron multicouches.
1983	Boltzmann*	La Machine de Boltzmann contourne les limitations du perceptron.
1985		La rétro propagation de gradient apparaît. C'est un algorithme d'apprentissage adapté aux réseaux de neurones multicouches.
1986	Werbos puis Rumelhart, Hinton et Williams	Algorithme d'apprentissage applicable au perceptron de type récursif (back propagation). La classe de problème de Minsky et Papert peut être résolue.

* Nom et Prénom à vérifier :

Ce n'est pas le célèbre Boltzmann de la théorie cinétique des gaz basée sur l'hypothèse atomiste, avant-gardisme, suicidé en 1906 

Voir Historique complet

Le point en début 2015

Observation du retour en force des réseaux de neurones au NIPS de Montréal en décembre 2014. À l’image du cerveau humain, plusieurs couches de neurones artificiels, reliées entre elles par des synapses ayant un poids plus ou moins important, sont entraînées par essai/erreur à réaliser une certaine tâche de prédiction. À la fin de l’apprentissage, les poids synaptiques sont réglés de manière optimale pour réussir la tâche en question. La force de ces méthodes est d’être capable d’apprendre par analogie sans que le modélisateur ait besoin d’émettre de règles a priori sur la relation entre données d’entrée et de sortie. La reconnaissance de l’écriture manuscrite en est un "cas d’école" classique : alors qu’il est très difficile d’émettre de règles précises sur la forme de telle ou telle lettre dans une image traduite en tableau de pixels, les réseaux de neurones sont quasi-infaillibles sur ce problème – Yseulys Costes Défi: concilier la capacité d’apprentissage d’un système biologique avec la puissance de calcul des outils modernes. La technologie neuronique a connu un succès précoce dès les années 1960. Face à de grosses difficultés de réalisation, l'engouement a faibli. Les, en 2014, voici de nouveau sur le devant de la scène sous le nom de Deep Learning. Les idées neuves: concentration les ressources d’apprentissages sur certains objets d’intérêt, développement les réseaux de neurones multitâches capables de réutiliser la connaissance apprise et l'appliquer à des tâches similaires, et mise au point d'une nouvelle méthode de traduction automatique de textes.

D'après l'Atelier: Huge data par Yseulys Costes

La puce TrueNorth d'IBM – 2014

Puce neurosynaptique TrueNorth d'IBM: grande comme un timbre-poste

4 096 cœurs neurosynaptiques, chacun autonome,

1 million de neurones,

256 millions de synapses,

400 milliards d'opérations par seconde (équivalent à -),

5,5 milliards de transistors,

50 watts de consommation.

IBM a assemblé 16 puces atteignant 16 millions de neurones et 4 milliards de synapses.

Le point en début 2016
Dans les années 1990, les réseaux de neurones furent boudés en raison de l'existence de nombreux blocages sur des points critiques, les minimums locaux. Des travaux récents ont permis d'identifier et de contourner cette difficulté. Fonctionnement Les neurones artificiels sont des blocs de code informatique qui reproduisent de manière simplifiée l'action des neurones biologiques. Chacun est doté de plusieurs entrées et d'une sortie. Les entrées reçoivent des informations provenant des sorties des neurones précédents (effet synapse). La connexion entre deux neurones est caractérisée par un poids synaptique, un nombre qui qualifie la pertinence de la liaison, une sorte d'effet de mémoire. Ce sont ces valeurs qui vont s'affiner avec l'apprentissage. Plus cette liaison sera impliquée dans l'indication de la bonne réponse et plus le poids va augmenter. Après un long apprentissage, les poids se stabilisent et le réseau à atteint sa configuration opérationnelle; prêt à se confronter à des situations nouvelles.	Auteurs: Yoshua Bengio (né en 1964), directeur de l'Institut des algorithmes de Montréal et Yann LeCun (photo), directeur du laboratoire d'intelligence artificielle de Facebook et leurs équipes. Analogie Imaginez que vous appreniez à faire du ski dans une montagne comportant de nombreux vallons. Vous apprenez bien et, le jour arrive où vous êtes lâché tout seul. Tout se passe bien, vous descendez. Puis, vous êtes bloqué. C'est effectivement un point bas, mais ce n'est pas la station d'arrivée. Vous êtes dans un minimum local et non dans le minimum global recherché. Il vous faudra apprendre à chercher la sortie de cette cuvette …
Le blocage aux points critiques Dans certains cas, les poids atteignent une limite qui correspond à un minimum local et non global; comme si l'algorithme s'était engagé dans une impasse. Les performances du réseau sont alors bien médiocres et ce phénomène explique le désamour des années 1990. Les auteurs expliquent avoir trouvé la parade. Ils se focalisent sur les points d'impasse, les points critiques. Ce sont des points en "selle de cheval" qui finalement possèdent une sorte. Ils ont également constaté que ces points critiques sont de moins en moins nombreux dès que la quantité de neurones grandit considérablement. Ce que permet la technologie actuelle avec des centaines de millions de synapses.

D'après C'est la fin d'une croyance sur les réseaux de neurones Yoshua Bengio interviewé par Gauthier Cariou

– La Recherche de janvier 2016 – pages 64 et 65

Le domaine de la neuronique et de l'intelligence artificielle

Le NIPS (Neural Information Processing Systems) est une conférence scientifique en intelligence artificielle et en neurosciences computationnelles qui se tient chaque année à Vancouver, Canada.

Sujets d'études:

Réseaux de neurones et compréhension du fonctionnement du cerveau:

reconnaissance de la parole,

reconnaissance d'objets;

reconnaissance de visages;

interprétation des images du cerveau.

Systèmes d'apprentissage biologiques ou artificiels;

Intelligence artificielle; Déductions automatiques;

Science cognitive; Réponse de la machine au langage naturel;

Vision par ordinateur; Perception par la machine;

Anticipation des intentions humaines au cours du dialogue homme-machine;

Linguistique statistique; Technologie du langage (traduction automatique);

Traitement des "huge data" (déluge de données, encore plus que Big data);

Théorie de l'information; Association automatique de mots aux images pour leur classement et leur recherche;

Machine learning à partir de ces gros volumes de données. Face aux téraoctets, adaptation des algorithmes aux architectures distribuées;

Marketing viral: collecte d'informations sur les consommateurs et incitation à la propagation des messages marketing. Algorithme à haut potentiel de viralisation;

Méthode de mesure des performances des outils d'intelligence artificielle;

Implémentation de ces technologies au sein des robots.

Voir NIPS 2014

Pour obtenir les textes présentés lors de ces conférences (anglais) >>>

Mise à jour de février 2015

Réseaux collaboratifs: systèmes multi-agents

Pour inventer une IA plus fine et plus frugale, les approches bio-inspirées reviennent en grâce.

Les systèmes multi-agents sont inspirés du monde des insectes, capables, avec très peu d’intelligence, de réaliser des choses complexes. Aux États-Unis, l’agence de R & D de l’armée américaine, la Darpa, a lancé un appel à projets pour une IA fondée sur le cerveau d’un insecte. Au MIT, des chercheurs ont pris le fonctionnement des cellules du corps humain comme modèle d’organisation pour créer un essaim de robots collaboratifs. C’est dans cette mouvance que s’inscrit la start-up AnotherBrain, fondée début 2017 par Bruno Maisonnier, connu pour ses robots Nao et Pepper créés par sa première société, Aldebaran.

Une nouvelle IA, trouver la clé du cerveau – l 'Usine Nouvelle – Marion Garreau – 17/07/2019

Automated machine learning (AutoML): un assistant la création d'IA

Les défis de l'IA sont de plus en plus complexes et affaires de spécialistes. Comment mettre les outils de l'IA à la disposition du plus grand nombre ?

L'autoML est un procédé qui facilité l'accès à l'IA par réseaux de neurones, notamment pour l'automatisation de la création de modèles d'apprentissage. Ils simplifient la phase de préparation des données nécessaires à l'apprentissage et également toutes les phases suivantes.

Les sociétés d'informatiques proposent des solutions comme: DataRobot, Google AutoML, H2O.ai, Azure ML de Microsoft, Sagemaker Autopilot d'AWS ... C'est aussi le cas des studios de data science comme le français Dataiku, l'allemand Knime ou l'américain Rapidminer.

Source: Le machine learning automatisé va-t-il remplacer le data scientist ? – Antoine Crochet-Damais – JDN – 28/08/2020

Suite	Machine learning & Deep learning Affichage de l'heure – Exemple Algorithme – Glossaire Algorithmes – Les avancées modernes Programmation – Index SAT (Satisfaction booléenne) Apprentissage et jeu de Go Algorithme et humanité – Le Théorème d'hypocrite
Voir	Algorithmes fourmis Automate Cerveau Dualité Énigmes et paradoxes Incomplétude Intelligence Logique – Index Multimédia et informatique – Index Outils de la logique Puissance de calcul Puzzles et énigmes – Index Raisonnement Réseaux Systèmes experts
Histoire	Événement des années 1900 Événements chronologiques Grands Hommes – Index Histoire de l'informatique Histoire de l'intelligence artificielle Histoire des mathématiques et des sciences Histoire des ordinateurs
Site	Demain, un ordinateur inspiré de notre cerveau? – Hugo Leroux – 12.01.2018 – CNRS, le journal
Cette page	http://villemin.gerard.free.fr/Wwwgvmm/Logique/IAneuron.htm