79 lines
6.0 KiB
Markdown
79 lines
6.0 KiB
Markdown
# Le Réseau Multicouches
|
|
|
|
> Et les datasets non linéairement séparables dans tout ça ?
|
|
|
|
Jusqu'à présent, nous avons utilisé que des datasets linéairement séparables, pour la simple raison que les réseaux à une seule couche ne produisent que des frontières de décision linéaires (des droites).
|
|
|
|
Pour séparer des classes de manière non linéaire, il est nécessaire d'utiliser des fonctions non linéaires au sein du réseau. C'est là que les réseaux multicouches rentrent en jeu : utiliser plusieurs couches permet d'avoir des frontières de décision non linéaires.
|
|
|
|
## Structure du réseau monocouche
|
|
|
|
Par rapport au réseau monocouche, on rajoute des couches dans lesquelles tous les neurones sont interconnectés aux neurones de la couche suivante.
|
|
|
|
|
|
|
|
On distingue 3 types de couches :
|
|
|
|
- La couche d'entrée : ne contient pas de neurones à proprement parler car ils n'effectuent aucun traitement sur les données d'entrées.
|
|
- Les couches cachées : chaque couche contient des neurones qui vont "mâcher" les données pour les couches suivantes. Dans PerceptronViewer, le nombre de neurones par couches cachées peut être choisi avec le paramètre **Nombre de neurones par couche cachée** et le nombre de couches cachées peut être choisi avec le paramètre **Nombre de couches cachées**.
|
|
- La couche de sortie : contient les neurones finaux qui vont transformer les données de sortie de la couche cachée en données utilisables (prédiction ou classification).
|
|
|
|
## Fonctionnement de l'entraînement
|
|
|
|
L'entraînement d'un réseau multicouche demande plus de technique à cause de la présence de plusieurs couches.
|
|
|
|
Voici le fonctionnement de l'entraînement dans les grandes lignes :
|
|
|
|
1. On initialise les poids synaptiques.
|
|
2. On commence l'entraînement : pour chaque exemple du dataset choisi, on évalue la sortie du réseau avec la *propagation avant* (forward propagation en anglais) : les données passent de la couche d'entrée, traversent les couches cachées et arrivent enfin à la couche de sortie. Pour chaque couche, l'entrée de chaque neurone correspond à la sortie des neurones de la couche précédente.
|
|
3. On calcule l'erreur du réseau sur cet exemple en utilisant la *rétropropagation* (backpropagation en anglais) : on calcule le signal d'erreur de la couche de sortie et on le propage à travers les couches jusqu'à la couche d'entrée.
|
|
4. On met à jour les poids synaptiques en fonction du signal d'erreur.
|
|
|
|
Je ne détaillerai pas ici la rétropropagation et la mise à jour des poids synaptiques. Cependant, si vous êtes intéressés, vous pouvez trouver les détails ici : [Wikipédia - Apprentissage du perceptron multicouche](https://fr.wikipedia.org/wiki/Perceptron_multicouche#Apprentissage).
|
|
|
|
<div class="exercice">
|
|
Exploitons l'avantage du réseau multicouche avec un dataset non linéairement séparable :
|
|
|
|
- <span>Dataset</span> : `Classification - Donut (non linéairement séparable)`
|
|
|
|
Puis cliquez sur "Lancer" tout en laissant les autres paramètres intacts.
|
|
|
|
Le réseau commence avec une zone uniforme qui couvre tout le graphe, ensuite, progressivement, crée une forme ovale qui englobe la classe du milieu du donut. Le reste des époques est passé à peaufiner la forme pour qu'elle englobe au mieux tous les exemples.
|
|
</div>
|
|
|
|
## Qu'est-ce que le nombre de couches et de neurones par couche fait ?
|
|
|
|
Ces deux paramètres sont très importants car ils vont déterminer la précision et le temps d'entraînement du réseau. Il n'y a pas réellement de formule magique, les bonnes valeurs sont obtenues par essai et erreur. Voici tout de même ce que va changer chaque paramètre et comment mieux choisir les valeurs.
|
|
|
|
### Quels sont les effets
|
|
|
|
Augmenter les paramètres va augmenter le nombre total de neurones. Plus il y a de neurones, plus la ligne de décision peut être complexe. Une ligne plus complexe va pouvoir dessiner les contours plus précisément et suivre des courbes complexes.
|
|
|
|
Il faut un minimum de nombre total de couches en fonction du dataset :
|
|
|
|
- 1 seule couche : la ligne de décision est une droite, comme les perceptrons et le réseau monocouche vu précédemment.
|
|
- 2 couches : la ligne de décision peux courber et modéliser des formes non linéaires (résout des datasets non linéairement séparables).
|
|
- +2 couches : la ligne de décision a la possibilité d'être de plus en plus complexe, plus le nombre de couches est haut.
|
|
|
|
Il est recommandé de ne pas avoir plus de neurones par couche qu'il y a d'exemples dans le dataset. Sinon le modèle risque d'apprendre par cœur le dataset en retenant un exemple par neurone. Ce problème est appelé **surapprentissage**, il apparaît quand le modèle est tellement bon sur le dataset, qu'il est incapable de généraliser.
|
|
|
|
Trop peu de neurones empêche le réseau de pouvoir faire le contour des classes et de devoir faire des erreurs.
|
|
|
|
## La régression avec un réseau multicouches
|
|
|
|
La régression peut également demander plus de couches de neurones pour pouvoir épouser des formes complexes.
|
|
|
|
<div class="exercice">
|
|
Essayons cela avec un dataset de régression trop complexe pour les réseaux à une seule couche :
|
|
|
|
- <span>Dataset</span> : `Régression - Vague`
|
|
|
|
Puis cliquez sur "Lancer" tout en laissant les autres paramètres intacts.
|
|
|
|
Là où un réseau monocouche essaierait de trouver la moyenne des points avec une droite, le réseau multicouches est capable d'épouser les formes complexes du nuage.
|
|
</div>
|
|
|
|
---
|
|
|
|
Ici s'achève la théorie. Quelques datasets n'ont pas été utilisés comme `Classification - Oblique modifié (non linéairement séparable)`, qui contient quelques points ajoutés ou dont la classe a été inversée (erreur d'encodage ? Anomalies dans la récolte des données ? Valeur anormale ? À vous de voir). Ce dataset est intéressant à faire avec tous les types de perceptrons et réseaux car il montre le comportement de chacun face à un dataset non linéairement séparable mais toujours réalisable.
|