Apprentissage automatique: une introduction à l'erreur quadratique moyenne et aux lignes de régression

introduction

Cet article traitera de la méthode statistique de l' erreur quadratique moyenne , et je décrirai la relation de cette méthode avec la droite de régression .

L'exemple se compose de points sur l'axe cartésien. Nous définirons une fonction mathématique qui nous donnera la droite qui passe le mieux entre tous les points de l'axe cartésien.

Et de cette façon, nous apprendrons le lien entre ces deux méthodes et à quoi ressemble le résultat de leur connexion.

Explication générale

Voici la définition de Wikipedia:

En statistique, l'erreur quadratique moyenne (MSE) d'un estimateur (d'une procédure d'estimation d'une quantité non observée) mesure la moyenne des carrés des erreurs, c'est-à-dire la différence quadratique moyenne entre les valeurs estimées et ce qui est estimé. MSE est une fonction de risque, correspondant à la valeur attendue de la perte d'erreur au carré. Le fait que l'EQM soit presque toujours strictement positive (et non nulle) est attribuable au hasard ou au fait que l'estimateur ne tient pas compte des informations qui pourraient produire une estimation plus précise.

La structure de l'article

  • Ayez une idée de l'idée, visualisation graphique, équation d'erreur quadratique moyenne.
  • La partie mathématique qui contient des manipulations algébriques et une dérivée de fonctions à deux variables pour trouver un minimum. Cette section est pour ceux qui veulent comprendre comment nous obtenons les formules mathématiques plus tard, vous pouvez la sauter si cela ne vous intéresse pas.
  • Une explication des formules mathématiques que nous avons reçues et du rôle de chaque variable dans la formule.
  • Exemples

Ayez une idée de l'idée

Disons que nous avons sept points, et notre objectif est de trouver une ligne qui minimise les distances au carré de ces différents points.

Essayons de comprendre cela.

Je prendrai un exemple et je tracerai une ligne entre les points. Bien sûr, mon dessin n'est pas le meilleur, mais c'est juste à des fins de démonstration.

Vous vous demandez peut-être quel est ce graphique?

  • les points violets sont les points sur le graphique. Chaque point a une coordonnée x et une coordonnée y.
  • La ligne bleue est notre ligne de prédiction. C'est une ligne qui passe par tous les points et les ajuste de la meilleure façon. Cette ligne contient les points prédits.
  • La ligne rouge entre chaque point violet et la ligne de prédiction sont les erreurs. Chaque erreur est la distance entre le point et son point prédit.

Vous devriez vous rappeler cette équation de vos jours d'école, y = Mx + B , où M est la pente de la ligne et B est l'ordonnée à l'origine de la ligne.

Nous voulons trouver M (pente) et B (ordonnée à l'origine) qui minimise l'erreur au carré!

Définissons une équation mathématique qui nous donnera l'erreur quadratique moyenne pour tous nos points.

Analysons ce que signifie réellement cette équation.

  • En mathématiques, le caractère qui ressemble à un E bizarre s'appelle la somme (grec sigma). C'est la somme d'une suite de nombres, de i = 1 à n. Imaginons cela comme un tableau de points, où nous passons par tous les points, du premier (i = 1) au dernier (i = n).
  • Pour chaque point, nous prenons la coordonnée y du point et la coordonnée y '. La coordonnée y est notre point violet. Le point y se trouve sur la ligne que nous avons créée. Nous soustrayons la valeur de la coordonnée y de la valeur de la coordonnée y et calculons le carré du résultat.
  • La troisième partie consiste à prendre la somme de toutes les valeurs de (y-y ') ² et à la diviser par n, ce qui donnera la moyenne.

Notre objectif est de minimiser ce moyen, ce qui nous fournira la meilleure ligne qui passe par tous les points.

Du concept aux équations mathématiques

Cette partie est destinée aux personnes qui veulent comprendre comment nous sommes arrivés aux équations mathématiques . Vous pouvez passer à la partie suivante si vous le souhaitez.

Comme vous le savez, l'équation de droite est y = mx + b, où m est la pente et b est l'ordonnée à l'origine.

Prenons chaque point du graphique, et nous ferons notre calcul (y-y ') ².

Mais qu'est-ce que y 'et comment le calculer? Nous ne les avons pas dans les données.

Mais nous savons que, pour calculer y ', nous devons utiliser notre équation linéaire, y = mx + b, et mettre le x dans l'équation.

De là, nous obtenons l'équation suivante:

Réécrivons cette expression pour la simplifier.

Commençons par ouvrir tous les crochets de l'équation. J'ai colorié la différence entre les équations pour faciliter la compréhension.

Maintenant, appliquons une autre manipulation. Nous prendrons chaque partie et la mettrons ensemble. Nous prendrons tous les y, et (-2ymx) et etc., et nous les mettrons tous côte à côte.

À ce stade, nous commençons à être désordonnés, alors prenons la moyenne de toutes les valeurs au carré pour y, xy, x, x².

Définissons, pour chacun d'eux, un nouveau caractère qui représentera la moyenne de toutes les valeurs au carré.

Voyons un exemple, prenons toutes les valeurs y et divisons-les par n car c'est la moyenne, et appelons-le y (HeadLine).

Si nous multiplions les deux côtés de l'équation par n, nous obtenons:

Ce qui nous amènera à l'équation suivante:

Si nous regardons ce que nous avons, nous pouvons voir que nous avons une surface 3D. Cela ressemble à un verre qui monte brusquement.

Nous voulons trouver M et B qui minimisent la fonction. Nous ferons une dérivée partielle par rapport à M et une dérivée partielle par rapport à B.

Puisque nous recherchons un point minimum, nous prendrons les dérivées partielles et comparerons à 0.

Prenons les deux équations que nous avons reçues, en isolant la variable b des deux, puis en soustrayant l'équation supérieure de l'équation inférieure.

Soustrayons la première équation de la deuxième équation

Débarrassons-nous des dénominateurs de l'équation.

Et voilà, c'est l'équation pour trouver M, prenons ceci et notons l'équation B.

Equations pour la pente et l'ordonnée à l'origine

Fournissons les équations mathématiques qui nous aideront à trouver la pente et l'ordonnée à l'origine requises.

Alors vous pensez probablement à vous-même, quelles sont ces équations étranges?

Ils sont en fait simples à comprendre, alors parlons-en un peu.

Maintenant que nous comprenons nos équations, il est temps de tout rassembler et de montrer quelques exemples.

Exemples

Un grand merci à Khan Academy pour les exemples.

Exemple 1

Prenons 3 points, (1,2), (2,1), (4,3).

Trouvons M et B pour l'équation y = mx + b.

Après avoir calculé les parties pertinentes pour notre équation M et notre équation B, mettons ces valeurs dans les équations et obtenons la pente et l'ordonnée à l'origine.

Prenons ces résultats et plaçons-les dans l'équation linéaire y = mx + b.

Maintenant, dessinons la ligne et voyons comment la ligne passe à travers les lignes de manière à minimiser les distances au carré.

Exemple # 2

Prenons 4 points, (-2, -3), (-1, -1), (1,2), (4,3).

Trouvons M et B pour l'équation y = mx + b.

Comme précédemment, mettons ces valeurs dans nos équations pour trouver M et B.

Prenons ces résultats et définissons-les dans l'équation linéaire y = mx + b.

Maintenant, dessinons la ligne et voyons comment la ligne passe à travers les lignes de manière à minimiser les distances au carré.

En conclusion

Comme vous pouvez le voir, toute l'idée est simple. Nous avons juste besoin de comprendre les parties principales et comment nous travaillons avec elles.

Vous pouvez utiliser les formules pour trouver la ligne sur un autre graphique, effectuer un calcul simple et obtenir les résultats pour la pente et l'ordonnée à l'origine.

C'est tout, simple hein? ?

Chaque commentaire et tous les commentaires sont les bienvenus - si nécessaire, je corrigerai l'article.

N'hésitez pas à me contacter directement sur LinkedIn - Cliquez ici.