1. La comunidad
  2. La base de datos
  3. El doble mínimo de la curva de regresión lineal

El doble mínimo de la curva de regresión lineal

El autor:Los inventores cuantifican - sueños pequeños, Creado: 2016-12-18 11:36:26, Actualizado: 2016-12-18 11:41:31

El doble mínimo de la curva de regresión lineal

  • ### Primero, el prólogo

Durante este tiempo, aprendió a aprender la hierro, aprendiendo la hierro logística de la hierro en el capítulo 5, lo que se sintió bastante difícil. La trazabilidad, desde la hierro logística de la hierro a la hierro de la hierro lineal de la hierro, a la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la hierro de la El parámetro de doble mínimo es una implementación de la fórmula de la experiencia en el problema de optimización. Conocer su funcionamiento es útil para entender el parámetro de aprendizaje del parámetro de regresión Logistic y el parámetro de aprendizaje que soporta la máquina vectorial.

  • ### Segundo, el conocimiento de fondo

El contexto histórico de la aparición de la suma de las cuotas mínimas de cuotas es interesante.

En 1801, el astrónomo italiano Giuseppe Piazzi descubrió el primer asteroide, la estrella del valle. Después de 40 días de seguimiento, Piazzi perdió su posición debido a que la estrella del valle se encontraba detrás del Sol. Luego, científicos de todo el mundo comenzaron a buscar la estrella del valle con los datos de las observaciones de Piazzi, pero no encontraron ninguna estrella según los resultados de la mayoría de los cálculos.

El método de Gauss para el doble mínimo fue publicado en 1809 en su libro sobre el movimiento de los objetos celestes, mientras que el científico francés Le Jeannard descubrió el doble mínimo de Gauss de forma independiente en 1806, pero no fue conocido.

En 1829, Gauss proporcionó una prueba de que el efecto de optimización de la doble mínima es más fuerte que otros métodos, ver Gauss-Markov.

  • ### Tres, el uso del conocimiento

El núcleo de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante de la variante.

Supongamos que recopilamos datos de longitud y anchura de algunos buques.

线性回归之——最小二乘法

Con base en estos datos, dibujamos un gráfico de puntos dispares en Python:

线性回归之——最小二乘法

El código para dibujar un gráfico de puntos es el siguiente:

```
import numpy as np                # -*- coding: utf-8 -*
import os
import matplotlib.pyplot as plt
def drawScatterDiagram(fileName): # 改变工作路径到数据文件存放的地方
    os.chdir("d:/workspace_ml")
    xcord=[];ycord=[]
    fr=open(fileName)
    for line in fr.readlines():
        lineArr=line.strip().split()
        xcord.append(float(lineArr[1]));ycord.append(float(lineArr[2]))
    plt.scatter(xcord,ycord,s=30,c='red',marker='s')
    plt.show()
```

假如我们取前两个点（238,32.4）（152, 15.5）就可以得到两个方程
152*a+b=15.5
328*a+b=32.4
解这两个方程得a=0.197,b=-14.48
那样的话，我们可以得到这样的拟合图：

![线性回归之——最小二乘法](/upload/asset/8c4ec1df86e5867e4ce4da6af7d7c8423b163ef7.png) 

好了，新的问题来了，这样的a,b是不是最优解呢？用专业的说法就是：a,b是不是模型的最优化参数？在回答这个问题之前，我们先解决另外一个问题：a,b满足什么条件才是最好的？

答案是：保证所有数据偏差的平方和最小。至于原理，我们会在后面讲，先来看看怎么利用这个工具来计算最好的a和b。假设所有数据的平方和为M，则

![线性回归之——最小二乘法](/upload/asset/7189e60a47e6a0a78747c40ff511abe8357350c0.png) 

我们现在要做的就是求使得M最小的a和b。请注意这个方程中，我们已知yi和xi

那其实这个方程就是一个以（a,b）为自变量，M为因变量的二元函数。

回想一下高数中怎么对一元函数就极值。我们用的是导数这个工具。那么在二元函数中，  我们依然用导数。只不过这里的导数有了新的名字“偏导数”。偏导数就是把两个变量中的一个视为常数来求导。
通过对M来求偏导数，我们得到一个方程组

![线性回归之——最小二乘法](/upload/asset/4a863a2f6678f5689641aafb11860b12bc820f80.png) 

这两个方程中xi和yi都是知道的。

很容易就求得a和b了。由于采用的是维基百科的数据，我这里就直接用答案来画出拟合图像：

![线性回归之——最小二乘法](/upload/asset/2cfbd2f5af3b691577361855ebe337110be5991d.png) 

```
# -*- coding: utf-8 -*importnumpy as npimportosimportmatplotlib.pyplot as pltdefdrawScatterDiagram(fileName):
# 改变工作路径到数据文件存放的地方os.chdir("d:/workspace_ml")xcord=[];
# ycord=[]fr=open(fileName)forline infr.readlines():lineArr=line.strip().split()xcord.append(float(lineArr[1]));
# ycord.append(float(lineArr[2]))plt.scatter(xcord,ycord,s=30,c='red',marker='s')
# a=0.1965;b=-14.486a=0.1612;b=-8.6394x=np.arange(90.0,250.0,0.1)y=a*x+bplt.plot(x,y)plt.show()
# -*- coding: utf-8 -*
import numpy as np
import os
import matplotlib.pyplot as plt
def drawScatterDiagram(fileName):
    #改变工作路径到数据文件存放的地方
    os.chdir("d:/workspace_ml")
    xcord=[];ycord=[]
    fr=open(fileName)
    for line in fr.readlines():
        lineArr=line.strip().split()
        xcord.append(float(lineArr[1]));ycord.append(float(lineArr[2]))
    plt.scatter(xcord,ycord,s=30,c='red',marker='s')
    #a=0.1965;b=-14.486
    a=0.1612;b=-8.6394
    x=np.arange(90.0,250.0,0.1)
    y=a*x+b
    plt.plot(x,y)
    plt.show()
```
  • ### Cuatro, la búsqueda de principios

En el ajuste de datos, ¿por qué se debe optimizar los parámetros del modelo con el valor absoluto y mínimo en lugar del cuadrado de la diferencia entre los datos de predicción del modelo y los datos reales?

La pregunta ya ha sido respondida, véase el enlace.http://blog.sciencenet.cn/blog-430956-621997.html）

Personalmente siento que esta explicación es muy interesante. Especialmente la hipótesis que contiene: todos los puntos que se desvían de f (x) son ruidosos.

El mayor es el desvío de un punto, y menor es la probabilidad de que ocurra. Entonces, ¿cuál es la relación entre el grado de desviación x y la probabilidad de que ocurra f (x)?

线性回归之——最小二乘法

线性回归之——最小二乘法

  • ### V, la extensión de la extensión

Todo lo anterior es una situación bidimensional, es decir, con una sola variable propia. Pero en el mundo real, lo que afecta al resultado final es la superposición de varios factores, es decir, hay varias situaciones de variables propias.

Para las funciones N metalineas generales, está bien buscar una matriz inversa en la matriz de álgebra lineal de acoplamiento; como no se encontró un ejemplo adecuado por el momento, se queda aquí como un derivado.

Por supuesto, la naturaleza es más una combinación de elementos que una simple linealidad, que es un contenido superior.

Trabajo original, reproducción permitida, en caso de reproducción, por favor, asegúrese de indicar el origen original del artículo en forma de hipervínculo, información del autor y esta declaración; de lo contrario, se llevará a cabo una responsabilidad legal.http://sbp810050504.blog.51cto.com/2799422/1269572

Más contenido

2019 - FMZ - Cuantificación de los inventores