"Si maintenant, nous disposons de données qui ne présentent pas cette propriété de linéarité, il faut alors trouver d'autres modèles ou hypothèses pour réussir à dégager des relations comme illustrées dans la figure suivante.\n",
"Ainsi nous allons pouvoir formuler à partir d'un jeu de données (X,y) des hypothèses de la forme suivante :\n",
"- si X n'est composé que d'une seule variable explicative (régression univariée), l'hypothèse à base d'un polynome de degré $k$ s'écrit de la manière suivante :\n",
"- si X est composé de plusieurs variables explicatives (régression multivariée), par exemple ici 2, l'hypothèse à base d'un polynome de degré $k$ s'écrit de la manière suivante :\n",
"Le programme se termine par le calcul de 2 indicateurs : \n",
"- `rmse` - Root of Mean Squared Error - correspond la distance entre les valeurs prédites, $\\{h(x_i), 0 \\leq i \\leq n\\}$ et les valeurs des données $\\{y_i, 0 \\leq i \\leq n\\}$, c'est à dire \n",
"Cet indicateur mesure ainsi la proximité de la courbe de régression (de l'hypothèse) avec les données. Sa valeur numérique dépend de l'ordre de grandeur des données. Il permet donc de comparer deux ou plusieurs hypothèses.\n",
"- `r2` ou `r2_score`, appelé *coefficient de détermination* va permettre d'évaluer la qualité de la prédiction :\n",
"Sa valeur numérique est comprise entre 0 et 1. Si il vaut 1, la régression est parfaite par rapport au jeu de données. Si il vaut 0, la régression n'est pas du tout pertinente pour le jeu de données."
]
...
...
@@ -256,14 +263,17 @@
"metadata": {},
"source": [
"Nous allons maintenant passer à une hypothèse basée sur une régression basée sur un polynome d'ordre k :\n",
"Cette expression reste linéaire par rapport aux coefficients à calculer, $\\theta_j$. \n",
"\n",
"La manière de traiter le problème avec la bibliothèque `sklearn`est la suivante.\n",
"\n",
"Pour simplifier l'explication, nous allons nous placer dans le cas d'un jeu de données de la forme $(x_i, y_i)$ avec la recherche d'un modèle/hypothèse univarié de regression polynomiale de degré 3 :\n",
"Ensuite on transforme ou réécrit le modèle précédent sous la forme linéaire suivante : \n",
"\n",
"$$\n",
"h(t,u,v,w) = \\theta_0 t + \\theta_1 u + \\theta_2 v + \\theta_3 w\n",
"$$\n",
"\n",
"avec $t=1$, $u=x$, $v=x^2$ et $w=x^3$\n",
"\n",
"On a alors transformé un modèle polynomial de degré 3, à 1 variable explicative $(x)$ en un modèle linéaire à 4 variables explicatives $(t,u,v,w)$.\n",
...
...
@@ -599,12 +611,24 @@
"\n",
"*Rappels* des définitions de la moyenne et de la variance :\n",
"- $\\sigma$ est appelé l'écart-type, c'est donc la racine carrée de la variance, $\\sigma = \\sqrt{V(x)}$. Il permet de mesurer la dispersion des valeurs $x_i$ autour de la moyenne $\\mu(x)$.\n",
"- $\\sigma$ est appelé l'écart-type, c'est donc la racine carrée de la variance, $\\sigma = \\sqrt{V(x)}$. Il permet de mesurer la dispersion des valeurs $x_i$ autour de la moyenne $\\mu(x)$.\n",
"\n",
"A partir du jeu de données $\\{(x_i, y_i); 1 \\leq i \\leq n\\}$, on va construire un ensemble $S$ de $m$ échantillons, que l'on appelle aussi échantillons d'apprentissage, et qui correspondent à des extractions de ce jeu de données de taille inférieure à $n$. Pour chaque échantillon de données, on note $x^p$, l'échantillon $p$ des données d'entrée (attention à la notation, ce n'est pas une élévation à la puissance mais un indice supérieur), on calcule l'hypothèse $h_{x^p}(x))$. Il faut comprendre ici que pour les modèles de regression polynomiale, l'hypothèse est indépendante de l'échantillon : il s'agit notamment de choisir le degré du polynome. Par contre le calcul des coefficients du polynome pour le degré choisit, va dépendre du jeu de données.\n",
"\n",
...
...
@@ -615,29 +639,42 @@
"Une espérance mathématique est un calcul de moyenne pondérée ou la pondération est une probabilité affectée à chaque terme de la moyenne ; la somme des probalités étant égale à 1. Ici, si l'on considère que chaque échantillon a la même importance (ou même probabilité d'apparaître ou d'exister), l'espérance sera calculée comme une moyenne simple.\n",
"Une fois effectués ces rappels et ces notations (parfois imprécises dans la littérature), on va donner des expressions du biais et de la variance \n",
"\n",
"- le biais se calcule par $$B(h(x))= E[(h-f)(x)]$$, \n",
"- la variance se calcule par $$Var(h(x))=E[h^2(x)]-(E[h(x)])^2$$\n",
"- le biais se calcule par \n",
"\n",
"$$\n",
"B(h(x))= E[(h-f)(x)]\n",
"$$ \n",
"\n",
"- la variance se calcule par \n",
"\n",
"$$\n",
"Var(h(x))=E[h^2(x)]-(E[h(x)])^2\n",
"$$\n",
"\n",
"On définit ensuite l'*erreur de prédiction attendue* par\n",
"On rappelle que l'on a fait l'hypothèse qu'il existait une fonction $f(x)$ telle que $y_i = f(x_i) + \\epsilon_i$, où $\\epsilon_i$ est un bruit dont la variance est notée $\\sigma^2$. \n",
"\n",
"$f(x)$ n'étant pas une fonction connue, on ne pourra pas calculer directement le biais qui mesure l'écart entre l'hypothèse et les données au sens \"classique\". Par contre, il est assez bien estimé par les indicateurs que nous avons utilisés lors des tracés des régression polynomiale, à savoir `rmse`et `r2`. Il faut simplement se rappeler que l'hypothèse de l'existance de $f$ signifie qu'il y a un bruit et que ces indicateurs ne visent donc pas à être trop petits si le bruit est important.\n",
"$f(x)$ n'étant pas une fonction connue, on ne pourra pas calculer directement le biais qui mesure l'écart entre l'hypothèse et les données au sens \"classique\". Par contre, il est assez bien estimé par les indicateurs que nous avons utilisés lors des tracés des régression polynomiale, à savoir `rmse`et `r2`. Il faut simplement se rappeler que l'hypothèse de l'existance de $f$ signifie qu'il y a un bruit et que ces indicateurs ne visent donc pas à être trop petits si le bruit est important.\n",
"\n",
"La Variance peut par contre être évaluée, à condition de mettre en place un échantillonage $S$. Elle mesure la dispersion des fonctions hypothèses liées à un échantillon à la moyenne de ces fonctions hypothèses pour tous les échantillons. En cas de sur-apprentissage, cette dispersion peut être grande comme cela a été expliqué dans les exemples précédents. \n",
"\n",
...
...
@@ -676,10 +713,13 @@
"**Régression ridge**\n",
"\n",
"La fonction de pénalisation se base sur l'utilisation de la norme $L_2$ du vecteur $\\theta$. Appelée aussi norme euclidienne, elle correspond aux métriques et notamment aux distances usuelles en géométrie. Par exemple, un cercle de rayon $r$, centré sur l'origine correspond à tous les points de coordonnées $(x,y)$ dont la norme $L_2$ vaut $r$. C'est aussi la norme utilisée dans le critère des moindres carrées. La fonction de pénalisation s'écrit :\n",
"La fonction de pénalisation est une composition des deux précédentes, en ajoutant un nouveau paramètre $\\alpha$ mesurant l'importance donnée à l'une des deux fonctions de pénalisation précédente par rapport à l'autre.\n",
-[Le data scientist - régression polynomiale avec Python](https://ledatascientist.com/regression-polynomiale-avec-python/) : suite d'un cours sur le [régression linéaire](https://ledatascientist.com/creer-un-modele-de-regression-lineaire-avec-python/) ; utilse la bibliothèque Seaborn ; Utilise la bibliothèque sklearn ; programmes accessible via des notebooks.
-[Regression polynomiale avec scikit-learn](https://darques.eu/blog/index.php/2017/05/09/regression-polynomiale-avec-scikit-learn/)
-[Implémentaer une regression linéaire polynomiale avec scikit-learn et python3](https://moonbooks.org/Articles/Implementer-une-regression-lineaire-polynomiale-avec-scikit-learn-et-python-3/)
%% Cell type:code id: tags:
``` python
%matplotlibinline
```
%% Cell type:markdown id: tags:
### Modéliser des données par une régression polynomiale
%% Cell type:markdown id: tags:
Dans ce chapitre, on s'intéresse à un nouveau type de régression qui est la régression polynomiale.
Dans un premier temps, on décrit ce nouveau modèle qui va généraliser le modèle linéaire vu précédemment.
Ce modèle va soulever des questionnements qui sont d'importance pour la data science : l'over-fitting (sur-apprentissage) ou l'under-fitting (sous-apprentissage).
Pour analyser ces questions, on va introduire le compromis biais-variance qui permet d'introduire des mesures aidant à analyser ces phénomènes.
On présente enfin des techniques de régularisation qui permettent d'automatiser des mécanismes de contrôle pour gérer ces phénomènes liès à l'analyse des données et afin de produire des modèles pertinents.
Par ailleurs, après avoir introduit les outils mathématiques matriciels qui sont à la base des algorithmes de régression (minimisation de critères de moindres carrés, méthode de descente), on va maintenant s'intéresser à l'utilisation de fonctions déjà définies dans les bibliothèques Python dédiées au machine learning et notamment aux fonctions disponibles dans la bibliothèque Scikit-learn ou sklearn.
%% Cell type:markdown id: tags:
Jusqu'à présent, nous avons présenté des modèles de régression linéaire qui consiste à mettre en évidence des relations de linéarité entre des données : on cherche à retrouver des corrélations entre les variables des données démontrant qu'elles peuvent se positionner ou s'approcher d'une droite ou d'un plan, notamment lorsque l'on est respectivement en dimension 2 ou 3.
Si maintenant, nous disposons de données qui ne présentent pas cette propriété de linéarité, il faut alors trouver d'autres modèles ou hypothèses pour réussir à dégager des relations comme illustrées dans la figure suivante.
<imgsrc="images/tds-regpol1.png"width="500"/>
<imgsrc="tds-regpol1.png"width="500"/>
%% Cell type:markdown id: tags:
Le propos de ce chapitre consiste alors à généraliser le modèle linéaire ou l'hypothèse de linéarité par des modèles polynomiaux.
Nous représentons ci-dessous sur l'intervalle \[-3, 3\], 3 polynomes de degré respectif 1, 2 et 3 permettant ainsi de comprendre l'enrichissement apporté par l'usage de polynomes de divers degrés pour définir des hypothèses.
Ainsi nous allons pouvoir formuler à partir d'un jeu de données (X,y) des hypothèses de la forme suivante :
- si X n'est composé que d'une seule variable explicative (régression univariée), l'hypothèse à base d'un polynome de degré $k$ s'écrit de la manière suivante :
- si X est composé de plusieurs variables explicatives (régression multivariée), par exemple ici 2, l'hypothèse à base d'un polynome de degré $k$ s'écrit de la manière suivante :
En pratique, les calculs (minimisation de critères de moindres carrés, méthode de descente, ...) s'opèrent de la même manière que dans le cas de la régression linéaire univariée ou multivariée (qui correspond au cas $k=1$). La généralisation des formules vues dans le cas linéaire est sans difficulté. Elles ne sont pas reprises ici et font l'objet d'un exercice de TP.
Dans les implémentations qui suivent, nous ne développons donc pas ces formules de calcul mais nous nous intéressons à l'usage de fonctions de calcul implémentées dans la bibliothèse `scikit-learn` ou `sklearn` spécialisée pour le maching learning.
%% Cell type:markdown id: tags:
### Mise en oeuvre avec `scikit-learn`
Pour comprendre l'intérêt d'une régression polynomiale, nous commençons par générer un jeu de données basée sur l'utilisation d'un polynome dans lequel on introduit du "bruit" aléatoire.
%% Cell type:code id: tags:
``` python
importnumpyasnp
importmatplotlib.pyplotasplt
np.random.seed(0)
x=2-3*np.random.normal(0,1,20)
y=x-2*(x**2)+0.5*(x**3)+np.random.normal(-3,3,20)
plt.scatter(x,y,s=10)# s pour size/taille des points
plt.show()
```
%% Output
%% Cell type:markdown id: tags:
Nous implémentons ci-dessous un calcul de régression linéaire sur le jeu de données précédent, en utilisant la bibliothèque *scikit-learn* appelée `sklearn`.
Le programme se termine par le calcul de 2 indicateurs :
-`rmse` - Root of Mean Squared Error - correspond la distance entre les valeurs prédites, $\{h(x_i), 0 \leq i \leq n\}$ et les valeurs des données $\{y_i, 0 \leq i \leq n\}$, c'est à dire
$$
\sqrt{\frac{1}{n}\sum_{i=1}^{n}(h(x_i)-y_i)^2}
$$
Cet indicateur mesure ainsi la proximité de la courbe de régression (de l'hypothèse) avec les données. Sa valeur numérique dépend de l'ordre de grandeur des données. Il permet donc de comparer deux ou plusieurs hypothèses.
-`r2` ou `r2_score`, appelé *coefficient de détermination* va permettre d'évaluer la qualité de la prédiction :
avec $\overline{y} = \frac{1}{n}\sum_{i=1}^n y_i$.
Sa valeur numérique est comprise entre 0 et 1. Si il vaut 1, la régression est parfaite par rapport au jeu de données. Si il vaut 0, la régression n'est pas du tout pertinente pour le jeu de données.
%% Cell type:markdown id: tags:
Nous allons maintenant passer à une hypothèse basée sur une régression basée sur un polynome d'ordre k :
$$
h(x) = \theta_0 + \sum_{j=1}^k \theta_j x^j
$$
Cette expression reste linéaire par rapport aux coefficients à calculer, $\theta_j$.
La manière de traiter le problème avec la bibliothèque `sklearn`est la suivante.
Pour simplifier l'explication, nous allons nous placer dans le cas d'un jeu de données de la forme $(x_i, y_i)$ avec la recherche d'un modèle/hypothèse univarié de regression polynomiale de degré 3 :
La régression polynomiale de degré 20 fait apparaître des irrégularités qui correspondent au "bruit" qui est présent dans les données (ici dans la génération des données). On parle alors de phénomène de sur-apprentissage (over-fitting). La courbe s'approche de près des données présentes mais si on ajoutait des données intermédiaires, la courbe du polynome de degré 20 pourrait en être assez distant.
A l'opposé, la régression de degré 1 passe assez loin des données car la complexité du modèle (hypothèse) est trop faible. On parle alors de sous-apprentissage (under-fitting).
Ces deux situations de sous-apprentissage et de sur-apprentissage ne sont pas caractéristiques du problème de régresssion polynomiale mais peut se rencontrer dans bon nombre d'autres types de modèles/hypothèses.
Le phénomène de sur-apprentissage est un problème difficile en science des données, puisqu'il faudrait savoir identifier ou mesurer le bruit présent dans les données. La question est donc de savoir choisir une complexité de modèle pertinente, ici le degré "optimal" de régression polynomiale. La notion de **compromis biais-variance** vise à apporter des méthodes d'analyse pour identifier ce degré optimal ou plus généralement les modèles/hypothèses optimaux.
%% Cell type:markdown id: tags:
### Le compromis biais-variance
**Le biais** correspond à l'écart entre les données et le modèle. Si sa valeur est élevée, cela signifie que l'on est dans la situation de sous-apprentissage. les valeurs de `rmse`ou de `r2` peuvent permettre de mesurer le biais.
**La variance** correspond à l'erreur de généralisation ou de prévision du modèle. Il mesure le phénomène de sur-apprentissage du à l'usage d'un modèle "trop" complexe et qui prédit mal les valeurs en dehors des données ou encore qui est très sensible à des petites modifications apportées sur les données. On dira que le modèle n'est pas stable.
On illustre ces valeurs du biais et de la variance sur les calcul de régression polynomiale précédents :
On peut décrire les tendances d'évolution des valeurs des erreurs de biais (courbe décroissante) et des erreurs de variance (courbe croissante) en fonction de la complexité du modèle comme cela est représenté sur la figure suivante. Un modèle / une hypothèse sera dit optimal lorsque l'on minimise la somme de ces deux erreurs (voir sur la figure). On parle du meilleur compromis biais-variance.
**Attention** : l'erreur totale mentionnée dans ce graphique, ne correspond pas à l'erreur "classique" qui consiste à évaluer la distance entre les jeux de données et les valeurs du modèle / de l'hypothèse. Cette erreur "classique" s'évalue génaralement en utilsant l'erreur de moindre carrée telle que calculé précédemment avec le coefficient `rmse`. On a vu sur les calculs précédents que ce calcul d'erreur ne permet pas d'évaluer le sur-apprentissage. On va alors définir un nouveau calcul d'erreur appelé *erreur de prédiction attendue* ou *erreur attendue* [3]. C'est cette erreur de prédiction attendue qui est appelée erreur totale sur le graphique ci-dessous. On en donne sa dévinition dans la section relative au compromis biais-variance.
**Définition mathématique**
Soit un jeu de données $\{(x_i, y_i); 1 \leq i \leq n\}$, on recherche un modèle/hypothèse $h(x)$ tel que tous les $h(x_i)$ s'approchent "au mieux" des $y_i$. Les données $(x_i)$ sont les données d'entrée du modèle (chaque $x_i$ peut être une valeur simple (problème univarié) ou un vecteur de plusieurs valeurs (problème multivarié)) et les données $(y_i)$ sont les données cibles.
La définition mathématique du biais et de la variance d'après [1,2,3], s'obtient en partant de l'hypothèse "abstraite" : il existe une fonction $f(x)$ permettant de définir une relation fonctionnelle bruitée : $y_i = f(x_i) + \epsilon_i$, où $\epsilon_i$ est un bruit dont la moyenne, $\mu(\epsilon)$ est nulle et la variance est notée $\sigma^2$.
*Rappels* des définitions de la moyenne et de la variance :
- $\sigma$ est appelé l'écart-type, c'est donc la racine carrée de la variance, $\sigma = \sqrt{V(x)}$. Il permet de mesurer la dispersion des valeurs $x_i$ autour de la moyenne $\mu(x)$.
- $\sigma$ est appelé l'écart-type, c'est donc la racine carrée de la variance, $\sigma = \sqrt{V(x)}$. Il permet de mesurer la dispersion des valeurs $x_i$ autour de la moyenne $\mu(x)$.
A partir du jeu de données $\{(x_i, y_i); 1 \leq i \leq n\}$, on va construire un ensemble $S$ de $m$ échantillons, que l'on appelle aussi échantillons d'apprentissage, et qui correspondent à des extractions de ce jeu de données de taille inférieure à $n$. Pour chaque échantillon de données, on note $x^p$, l'échantillon $p$ des données d'entrée (attention à la notation, ce n'est pas une élévation à la puissance mais un indice supérieur), on calcule l'hypothèse $h_{x^p}(x))$. Il faut comprendre ici que pour les modèles de regression polynomiale, l'hypothèse est indépendante de l'échantillon : il s'agit notamment de choisir le degré du polynome. Par contre le calcul des coefficients du polynome pour le degré choisit, va dépendre du jeu de données.
A partir de cette échantillonage $S$, on va calculer des *espérances mathématiques* de fonctions, relatives à un nouvel échantillon que l'on va considérer ici comme étant l'ensemble complet des données, c'est à dire $x$ pour les données d'entrée.
Par exemple, $E_S[h(x)]$ correspond à l'espérance mathématique des fonctions hypothèses relatives aux échantillons de $S$.
Une espérance mathématique est un calcul de moyenne pondérée ou la pondération est une probabilité affectée à chaque terme de la moyenne ; la somme des probalités étant égale à 1. Ici, si l'on considère que chaque échantillon a la même importance (ou même probabilité d'apparaître ou d'exister), l'espérance sera calculée comme une moyenne simple.
On calcule déjà une fonction $G(t)$ par
$$
G(t) = \frac{1}{m}\sum_{x_p \in S} h_{x_p}(t)
$$
où l'on rappelle que $m$ est le nombre d'échantillons $x_p$ dans $S$.
Puis l'espérance de l'hypothèse $h$ pour le jeu de données dont les valeurs d'entrée sont $x = {x_i, 1 \leq i \leq n}$
$$
E_S[h(x)] = \frac{1}{n}\sum_{i=1}^{n} G(x_i)
$$
Une fois effectués ces rappels et ces notations (parfois imprécises dans la littérature), on va donner des expressions du biais et de la variance
- le biais se calcule par $$B(h(x))= E[(h-f)(x)]$$,
- la variance se calcule par $$Var(h(x))=E[h^2(x)]-(E[h(x)])^2$$
- le biais se calcule par
$$
B(h(x))= E[(h-f)(x)]
$$
- la variance se calcule par
$$
Var(h(x))=E[h^2(x)]-(E[h(x)])^2
$$
On définit ensuite l'*erreur de prédiction attendue* par
$$
Err(h(x)) = B^2(h(x)) + Var(h(x)) + \sigma^2
$$
On rappelle que l'on a fait l'hypothèse qu'il existait une fonction $f(x)$ telle que $y_i = f(x_i) + \epsilon_i$, où $\epsilon_i$ est un bruit dont la variance est notée $\sigma^2$.
$f(x)$ n'étant pas une fonction connue, on ne pourra pas calculer directement le biais qui mesure l'écart entre l'hypothèse et les données au sens "classique". Par contre, il est assez bien estimé par les indicateurs que nous avons utilisés lors des tracés des régression polynomiale, à savoir `rmse`et `r2`. Il faut simplement se rappeler que l'hypothèse de l'existance de $f$ signifie qu'il y a un bruit et que ces indicateurs ne visent donc pas à être trop petits si le bruit est important.
$f(x)$ n'étant pas une fonction connue, on ne pourra pas calculer directement le biais qui mesure l'écart entre l'hypothèse et les données au sens "classique". Par contre, il est assez bien estimé par les indicateurs que nous avons utilisés lors des tracés des régression polynomiale, à savoir `rmse`et `r2`. Il faut simplement se rappeler que l'hypothèse de l'existance de $f$ signifie qu'il y a un bruit et que ces indicateurs ne visent donc pas à être trop petits si le bruit est important.
La Variance peut par contre être évaluée, à condition de mettre en place un échantillonage $S$. Elle mesure la dispersion des fonctions hypothèses liées à un échantillon à la moyenne de ces fonctions hypothèses pour tous les échantillons. En cas de sur-apprentissage, cette dispersion peut être grande comme cela a été expliqué dans les exemples précédents.
En conclusion de cette section sur le compromis biais-variance, on constate que la difficulté est de déterminer la fonction $f(x)$ et en conséquence d'évaluer le bruit $\epsilon_i$ contenu dans les données. Une discussion intéressante à ce sujet fait l'objet du dernier paragraphe de l'entrée relative au dilemme biais-variance sur wikipedia [1] et la référence aux propos de Gerd Gigerenzer et ses co-auteurs [4] qui sortent largement des objectifs de ce cours d'apprentissage.
**Référence sur le compromis biais-variance**
1.[Dilemme biais-variance : article de Wikipedia](https://fr.wikipedia.org/wiki/Dilemme_biais-variance)
2. Scott Fortmann-Roe. "Understanding the Bias-Variance Tradeoff", [blog en ligne](http://scott.fortmann-roe.com/docs/BiasVariance.html), 2012
3. T. Hasyie, R. Tibshirani, J. Friedman. "The Elements of Statistical Learning", Springer, 2017 (2nd edition)
4. G. Gigerenzer, H. Brighton (2009) "Homo Heuristicus: Why biased Minds make Better Inferences", Topics in Cognitive Science 1, 107-143. Accessible en ligne [ici](https://pure.mpg.de/rest/items/item_2099728/component/file_2563980/content)
%% Cell type:markdown id: tags:
### Techniques de régularisation
Dans les méthodes de régression qui ont été présentées, la fonction de coût $J(\Theta)$ sert à ajuster les paramètres de la fonction modèle ou hypothèse pour qu'elle s'approche au mieux des données.
Avec la régression polynomiale, il a été constaté que des problème de sur-apprentissagepouvaient apparaître et que si cette fonction de coût était bien minimisée, le modèle pouvait avoir un comportement "instable", c'est à dire être très sensible à des modifications mineures des données. Ainsi de petites modifications sur ces données peut générer des nouveaux modèles très différents et présentant surtout des oscillations (observation typiques du sur-apprentissage en régression polynomiale).
Pour pallier à ce problème, l'idée est de contraindre l'espace de recherche des paramètres $\theta$ et pour cela, il faut donc modifier leur recherche (qui consiste à minimiser la fonction coût), c'est à dire modifier la fonction coût : $J(\theta)$.
On parle alors de rétressissement de l'espace de recherche d'où le terme de méthodes de $shrinkage* en anglais.
Pratiquement, on va donc modifier la focntion coût en ajoutant une *fonction de pénalité* $P(\lambda,\theta)$ qui dépend de $\theta$ et d'un paramètre $\lambda$ que l'on va ajuster afin produire l'effet de régularisation souhaitée :
En reprenant les notations utilisées jusqu'alors, à savoir que $\{(x_i, y_i); 1 \leq i \leq m\}$ correspond aux données et que le modèle ou fonction hypothèse possède $n+1$ paramètres, ${(\theta_j; 0 \leq j \leq n}$.
Plusieurs techniques de régularisation ont été proposées et nous en présentons quelques unes ici. Pour plus de détails, on pourra consulter le livre de Biernat et Lutz [1].
**Régression ridge**
La fonction de pénalisation se base sur l'utilisation de la norme $L_2$ du vecteur $\theta$. Appelée aussi norme euclidienne, elle correspond aux métriques et notamment aux distances usuelles en géométrie. Par exemple, un cercle de rayon $r$, centré sur l'origine correspond à tous les points de coordonnées $(x,y)$ dont la norme $L_2$ vaut $r$. C'est aussi la norme utilisée dans le critère des moindres carrées. La fonction de pénalisation s'écrit :
La fonction de pénalisation est une composition des deux précédentes, en ajoutant un nouveau paramètre $\alpha$ mesurant l'importance donnée à l'une des deux fonctions de pénalisation précédente par rapport à l'autre.
L'impact des techniques de régularisation avec ces fonctions de pénalisation sera étudié dans les TP.
**Références sur les techniques de régularisation**
1. E. Biernat et M. Lutz (2015) "Data science : fondamentaux et études de cas: Machine learning avec Python et R", Editions Eyrolles
2.[Blog de Xavier Dupré, Régression Ridge, Lasso et nouvel estimateur](http://www.xavierdupre.fr/app/papierstat/helpsphinx/notebooks/2020-02-07_sklapi.html)
