Le plus petit double de la ronde de régression linéaire

Le plus petit double de la ronde de régression linéaire

• ### Un, une introduction

Au cours de cette période, j'ai appris à lire les mathématiques de la machine à écrire, et j'ai appris la théorie de la régression logistique du chapitre 5, ce qui est assez difficile. Je suis allé de la théorie de la régression logistique à la théorie de la régression linéaire à la théorie de la régression linéaire, puis à la théorie de la régression de la régression de la régression de la régression de la régression. Le quadratique est une méthode d'implémentation de la formule expérimentale dans les problèmes d'optimisation optimale. Sa compréhension est utile pour comprendre le quadratique de régression Logistic et le quadratique de support vectoriel.

• ### Deuxièmement, connaissances de base

Le contexte historique de l'apparition de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation est intéressant.

En 1801, l'astronome italien Giuseppe Piazzi découvre le premier astéroïde, l'étoile de la Vallée. Après 40 jours d'observation, il perd la position de l'étoile de la Vallée en se déplaçant derrière le Soleil. Des scientifiques du monde entier commencent alors à chercher l'étoile de la Vallée à partir des observations de Piazzi, mais ils ne trouvent rien selon les calculs de la plupart des gens.

La méthode de Gauss pour le dixième moindre est publiée en 1809 dans son ouvrage Théorie du mouvement des corps célestes, tandis que le scientifique français Le Jeannard découvre indépendamment le dixième moindre en 1806, mais ne le sait pas.

En 1829, Gauss a fourni une preuve que l'optimisation de l'optimisation du double minimum est plus efficace que les autres méthodes, voir Gauss-Markov théorème.

• ### Troisièmement, utilisez le savoir

Le noyau de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de l'équation de

Supposons que nous ayons des données sur la longueur et la largeur de certains navires de guerre.

En utilisant ces données, nous avons dessiné un diagramme de points partagés en Python:

Le code de la carte à puces est le suivant:

```
import numpy as np                # -*- coding: utf-8 -*
import os
import matplotlib.pyplot as plt
def drawScatterDiagram(fileName): # 改变工作路径到数据文件存放的地方
    os.chdir("d:/workspace_ml")
    xcord=[];ycord=[]
    fr=open(fileName)
    for line in fr.readlines():
        lineArr=line.strip().split()
        xcord.append(float(lineArr[1]));ycord.append(float(lineArr[2]))
    plt.scatter(xcord,ycord,s=30,c='red',marker='s')
    plt.show()
```

假如我们取前两个点（238,32.4）（152, 15.5）就可以得到两个方程
152*a+b=15.5
328*a+b=32.4
解这两个方程得a=0.197,b=-14.48
那样的话，我们可以得到这样的拟合图：

![线性回归之——最小二乘法](/upload/asset/8c4ec1df86e5867e4ce4da6af7d7c8423b163ef7.png) 

好了，新的问题来了，这样的a,b是不是最优解呢？用专业的说法就是：a,b是不是模型的最优化参数？在回答这个问题之前，我们先解决另外一个问题：a,b满足什么条件才是最好的？

答案是：保证所有数据偏差的平方和最小。至于原理，我们会在后面讲，先来看看怎么利用这个工具来计算最好的a和b。假设所有数据的平方和为M，则

![线性回归之——最小二乘法](/upload/asset/7189e60a47e6a0a78747c40ff511abe8357350c0.png) 

我们现在要做的就是求使得M最小的a和b。请注意这个方程中，我们已知yi和xi

那其实这个方程就是一个以（a,b）为自变量，M为因变量的二元函数。

回想一下高数中怎么对一元函数就极值。我们用的是导数这个工具。那么在二元函数中，  我们依然用导数。只不过这里的导数有了新的名字“偏导数”。偏导数就是把两个变量中的一个视为常数来求导。
通过对M来求偏导数，我们得到一个方程组

![线性回归之——最小二乘法](/upload/asset/4a863a2f6678f5689641aafb11860b12bc820f80.png) 

这两个方程中xi和yi都是知道的。

很容易就求得a和b了。由于采用的是维基百科的数据，我这里就直接用答案来画出拟合图像：

![线性回归之——最小二乘法](/upload/asset/2cfbd2f5af3b691577361855ebe337110be5991d.png) 

```
# -*- coding: utf-8 -*importnumpy as npimportosimportmatplotlib.pyplot as pltdefdrawScatterDiagram(fileName):
# 改变工作路径到数据文件存放的地方os.chdir("d:/workspace_ml")xcord=[];
# ycord=[]fr=open(fileName)forline infr.readlines():lineArr=line.strip().split()xcord.append(float(lineArr[1]));
# ycord.append(float(lineArr[2]))plt.scatter(xcord,ycord,s=30,c='red',marker='s')
# a=0.1965;b=-14.486a=0.1612;b=-8.6394x=np.arange(90.0,250.0,0.1)y=a*x+bplt.plot(x,y)plt.show()
# -*- coding: utf-8 -*
import numpy as np
import os
import matplotlib.pyplot as plt
def drawScatterDiagram(fileName):
    #改变工作路径到数据文件存放的地方
    os.chdir("d:/workspace_ml")
    xcord=[];ycord=[]
    fr=open(fileName)
    for line in fr.readlines():
        lineArr=line.strip().split()
        xcord.append(float(lineArr[1]));ycord.append(float(lineArr[2]))
    plt.scatter(xcord,ycord,s=30,c='red',marker='s')
    #a=0.1965;b=-14.486
    a=0.1612;b=-8.6394
    x=np.arange(90.0,250.0,0.1)
    y=a*x+b
    plt.plot(x,y)
    plt.show()
```

• ### Quatrièmement, les principes de la recherche

Dans le cas d'une modélisation des données, pourquoi utiliser le carré de la différence entre les données prédictives du modèle et les données réelles plutôt que les valeurs absolues et minimales pour optimiser les paramètres du modèle?

Cette question a déjà été répondue par quelqu'un, voir le lien.http://blog.sciencenet.cn/blog-430956-621997.html）

Personnellement, j'ai trouvé cette explication très intéressante. Surtout l'hypothèse: tous les points qui s'écartent de f (x) sont bruyants.

L'écart d'un point indique que plus le bruit est grand, plus la probabilité d'apparition de ce point est faible. Quelle relation le degré d'écart x a-t-il avec la probabilité d'apparition de f (x)?

• ### Cinquième, étendre l'extension

Toutes les situations ci-dessus sont bidimensionnelles, c'est-à-dire qu'il n'y a qu'une seule variable autonome. Mais dans le monde réel, le résultat final est influencé par une superposition de plusieurs facteurs, c'est-à-dire qu'il y a plusieurs cas d'autonomie.

Pour les fonctions non-linéaires en général, il est OK de chercher une matrice inverse dans une matrice d'algèbre linéaire de chaîne; comme aucun exemple approprié n'a été trouvé pour le moment, il reste ici comme une derivation.

Bien sûr, la nature est plus une combinaison de polynômes qu'une simple linéarité, c'est-à-dire un contenu supérieur.

• ### Les références
  • Le livre des mathématiques de l'enseignement supérieur (sixième édition)
  • L'algorithme de la chaîne linéaire (publié par l'Université de Pékin)
  • L'encyclopédie interactive:Le plus petit double.
  • Wikipédia: Le plus petit double
  • Le réseau scientifique:Le plus petit double?

Les œuvres originales sont autorisées à être reproduites, mais vous devez indiquer l'origine de l'article sous forme de hyperliens, ainsi que les informations sur l'auteur et la présente déclaration. Sinon, vous serez tenu responsable.http://sbp810050504.blog.51cto.com/2799422/1269572