IA : Obtention de l'equation normale

En machine learning, nous cherchons un modèle. Dans le cas d’un nuage de point pour lequel nous avons que son profil est linéaire, nous allons rechercher un modèle de la forme
$Y=W^TX$ Ce modèle une fois obtenu, va nous permet de fournir des prédictions. Seulement, encore faut il en déterminer le paramétrage.

Pour cela on peut utiliser l'équation normale que nous avions vu dans l’article [1]:
$W=(X^TX)^{-1}X^TY$ Du coup comme il importe d’en comprendre l’origine, explorons son origine: la méthode des résidus.

En fait l’idée est simple l'équation du modèle linéaire que nous avons vu précédemment nous fourni un modèle linéaire mais qui forcément ne sera pas parfait. Ainsi, si l'équation normale nous donne un résultat optimal en terme de régression (par exemple), si l’on compare les valeurs prédites avec les valeurs initiales, on va faire apparaître ce que l’on pourrait apparaître comme un résidu:
$r=Y-W^TX$ À partir de ce constat, il faut que nous cherchions donc une solution permettant de minimiser les résidus. Pour cela, on va en calculer le produit scalaire c’est à dire: $R^TR=(Y-W^TX)^T(Y-W^TX)$ Ensuite on décompose:

$R^TR=(Y-W^TX)^T(Y-W^TX)\\ \Leftrightarrow (Y^T-X^TW)(Y-W^TX)\\ \Leftrightarrow Y^TY -Y^TW^TX -X^TWY +X^TWW^TX\\ \Leftrightarrow Y^TY -Y^TW^TX -X^TWY +X^TWW^TX$ Or on peut trouver l'équivalence suivante:
$Y^TW^TX = (WY)^TX = (((WY)^TX)^T)^T = (X^TWY)^T \\ \Rightarrow rang(Y^TW^TX)=1 \Rightarrow scalaire\\ \Rightarrow Y^TW^TX = X^TWY$ Du coup en réintroduisant ce résultat dans l'équation on obtient:
$Y^TY -Y^TW^TX -X^TWY +X^TWW^TX \\ \Rightarrow Y^TY -2X^TWY +X^TWW^TX \Rightarrow Y^TY -2 ( \frac{1}{2} X^TWW^TX -X^TWY)$ Il s’agit d’une forme quadrative avec du type avec la solution associé (l’équation du modèle linéaire)
$\frac{1}{2} X^TAX -X^TB \Rightarrow AW=B$ Donc notre calcule des residus nous amene à l’equation normale
$\nabla _W Y^TY -2 ( \frac{1}{2} X^TWW^TX -X^TWY)\\ \nabla _W \frac{1}{2} X^TWW^TX -X^TWY=0 \\ \Rightarrow X^TXW=X^TY \Leftrightarrow W=(X^TX)^{-1}X^TY$ Voila en allant chercher la valeur minimale c’est à dire la solution l’équation quadrative, alors on retrouve l’équation normale.

Réferences

[1] https://un-est-tout-et-tout-est-un.blogspot.com/2018/09/ia-equation-normale.html