| ... | @@ -4,12 +4,72 @@ |
... | @@ -4,12 +4,72 @@ |
|
|
|
|
|
|
|
### Le modèle naturel
|
|
### Le modèle naturel
|
|
|
|
|
|
|
|
|
Une très grande partie du règne animal exhibe des capacités d'apprentissage, et depuis longtemps les hommes se sont interrogés sur le fonctionnement de notre mémoire, et sur la façons dont elle s'organisait.
|
|
|
|
|
|
|
|
L'une des technique utilisée pour conférer à des programmes des capacités d'apprentissage consiste à suivre une approche bio-mimétique : copions le vivant ! Nous allons donc chercher à créer des réseaux de neurones **artificiels**, *in-silico*, et pour ce faire nous commencerons par observer ce que nous savons des cellules neuronales réelles.
|
|
|
|
|
|
|
|
Même si les modèles de neurones réels sont toujours incomplets on peut déjà décrire un neurone comme une cellule particulière composée de plusieurs parties :
|
|
|
|
|
|
|
|
- Un corps cellulaire (1), noyau ou **soma**,
|
|
|
|
- Auquel sont reliées de nombreuses **dendrites** (2) qui sont comme les portes d'entrées des signaux provenant d'autres neurones,
|
|
|
|
- Et un **axone** (3) qui est la voie unique de sortie du neurone, qui va se diviser par la suite pour se connecter aux dendrites d'autres neurones par des **synapses**.
|
|
|
|
|
|
|
|
TODO figure
|
|
|
|
<!--img alt="Modèle du neurone" src="Img/Neurone.png" style="width:200px;"/-->
|
|
|
|
|
|
|
|
Les neurones sont organisés en *réseau*, chacun étant connecté à une multitude d'autres. L'axone en sortie du neurone se connecte aux dendrites en entrée d'autres neurones, et forme donc un réseau de communication.
|
|
|
|
|
|
|
|
Entre les axones et les dendrites se situent des liaisons que l'on nomme **synapses**. Ces liaisons peuvent laisser passer, voire amplifier un influx nerveux ou au contraire l'atténuer.
|
|
|
|
|
|
|
|
Cet influx nerveux représente l'information transitant entre chaque neurone. Il peut être plus ou moins fort dans le sens où chaque synapse, en fonction d'un apprentissage, laissera passer plus ou moins cet influx. Ainsi certaines synapses seront **inhibitrices** car elle bloqueront l'influx, d'autres seront **incitatrices** car elles laissent passer l'influx. On appelle cela le **poids synaptique**.
|
|
|
|
|
|
|
|
<!--img alt="Modification des poids synaptiques" src="Img/ModificationSynaptique.svg" style="width=300px;"/-->
|
|
|
|
|
|
|
|
Lorsqu'un neurone reçoit suffisamment d'influx nerveux, au delà d'un **seuil** de déclenchement, il peut *s'activer* et envoyer à son tour un influx à travers son axone aux autres neurones auxquels il est connecté.
|
|
|
|
|
|
|
|
Cependant, dans la majeure partie des cellules neuronales, les synapses utilisent des **médiateurs** chimiques pour faire transiter l'influx. C'est à ce niveau qu'une synapse peut générer plus ou moins de médiateurs chimiques et donc amplifier ou inhiber l'influx électrique.
|
|
|
|
|
|
|
|
Le réseau entier de neurones connectés par leur synapses, toutes plus ou moins incitatrices ou inhibitrices, ainsi que les seuils d'activation des neurones, forment un modèle capable de produire des sorties particulières en fonction d'entrées particulières.
|
|
|
|
|
|
|
|
L'**apprentissage** se produit lorsque les pondérations synaptiques se modifient. C'est par changements successifs inhibant ou incitant les synapses que le réseau se transforme pour produire des sorties particulières en fonction des entrées.
|
|
|
|
|
|
|
|
Bien entendu le modèle réel des différents types de cellules neuronales est bien plus complexe, mais c'est cette idée simple d'apprentissage par *inhibition* ou *incitation* que nous allons utiliser.
|
|
|
|
|
|
|
### Historique
|
|
### Historique
|
|
|
|
|
|
|
|
|
|
|
|
|
* Aristote :
|
|
|
|
La mémoire est une interconnexion complexe d'éléments simples.
|
|
|
|
|
|
|
|
??
|
|
|
|
|
|
|
|
* H. Spencer (1820-1903) :
|
|
|
|
Les états mentaux dépendent strictement des structures nerveuses et de leur évolution. Interprétation de la psychologie à travers des réseaux d'unités fortement connectées.
|
|
|
|
* E.L. Thorndike (1842-1910) :
|
|
|
|
Propose le concept de mémoire associative : la fréquence de conjonction d'événements tend à renforcer les liens entre leurs représentations cérébrales.
|
|
|
|
|
|
|
## La règle de Hebb
|
|
## La règle de Hebb
|
|
|
|
|
|
|
|
|
Hebb (1904-1985) énonce la règle de co-activation :
|
|
|
|
|
|
|
|
> « Quand l'axone d'une cellule A est suffisamment proche pour exciter une cellule B et que de manière répétée et persistante, il participe à l'activation de B, alors un processus de croissance ou de changements métaboliques se met en œuvre dans l'une ou dans les deux cellules, de telle manière que la capacité de A à activer B en est renforcée. »
|
|
|
|
|
|
|
|
La Voici une illustration de la règle de Hebb :
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Un premier modèle, McCulloch et Pitts
|
|
## Un premier modèle, McCulloch et Pitts
|
|
|
|
|
|
|
|
|
Le modèle qu'on considère généralement comme fondateur des réseaux de neurones artificiels à été proposé par W. McCulloch, un neurophysiologiste et W. Pitts un mathématicien. Ils posent l'hypothèse selon laquelle on peut assimiler les signaux neuronaux à des propositions logiques. Ils cherchent alors à modéliser les réseaux de neurones en s'appuyant sur la logique des prédicats en plubliant un article fondateur de la théorie des neurones formels : « A Logical Calculus of Ideas Immanent in Nervous Activity ».
|
|
|
|
|
|
|
|
Ces réseaux de neurones n'exhibent pas encore de propriété d'apprentissage proprement dite, mais, nous allons le voir, sont une fondation essentielle des réseaux que nous utiliserons par la suite.
|
|
|
|
|
|
|
|
### Le modèle
|
|
|
|
|
|
|
|
### Opérateurs booléens
|
|
|
|
|
|
|
|
### Exemples
|
|
|
|
|
|
|
## Le Perceptron
|
|
## Le Perceptron
|
|
|
|
|
|
|
|
### Le modèle
|
|
### Le modèle
|
| ... | |
... | |
| ... | | ... | |