目录
一，一元一次线性回归
1，回归模型
2，最小二乘法
首先把整体偏离程度表示为：
配方法求出Q取最小值时的a和b的值为：
3，矩阵表示法
给定n维列向量x和y，求a,b使得y-bx-a的模取得最小值。
用超定方程组表示：
\begin{pmatrix} x_1 &1 \\ \vdots & \vdots \\x_n & 1 \end{pmatrix}
\begin{pmatrix} b\\ a \end{pmatrix}=
\begin{pmatrix} y_1 \\ \vdots \\y_n \end{pmatrix}
先把x和y都减去均值再单位化，然后b的最小二乘解即可表示为b=x^Ty,a=0
二，多元线性一次回归
1，回归模型
m元线性一次回归模型：
y=\sum_{i=0}^m b_ix_i
其中x0 = 1
2，超定方程组
\begin{pmatrix} x_{0_1}&x_{1_1} &…&x_{m_1} \\ \vdots & \vdots & \vdots & \vdots
\\x_{0_n}&x_{1_n} &…&x_{m_n} \end{pmatrix}
\begin{pmatrix} b_0\\ \vdots \\ b_m \end{pmatrix}=
\begin{pmatrix} y_1 \\ \vdots \\y_n \end{pmatrix}
m是自变量（样本属性）的数量，n是样本的数量，n>m
设左边的矩阵为A，则要求解的超定方程组是Ab=y，而超定方程组一般是无解的，所以实际上求解目标是求列向量b，使得y-Ab的模最小。
我们把这个解成为超定方程组的最小二乘解。
3，正规方程组
可以证明，超定方程组的最小二乘解满足正规方程组：
A^TAb=A^Ty
4，最小二乘解
若A是列满秩矩阵（即A^TA是可逆矩阵），则正规方程组有唯一解：
b=(A^TA)^{-1}A^Ty
三，一元线性m次回归
\begin{pmatrix} 1&x_1 &…&x_1^m \\ \vdots & \vdots & \vdots & \vdots
\\1&x_n &…&x_n^m \end{pmatrix}
\begin{pmatrix} b_0\\ \vdots \\ b_m \end{pmatrix}=
\begin{pmatrix} y_1 \\ \vdots \\y_n \end{pmatrix}
求解这个正规方程组即可。
四，多元线性回归
对于更广泛的多元线性回归，也可以使用最小二乘法，求出各参数的取值。
1，多元线性回归
m元线性回归可以表示成，用m个线性无关的函数（不仅限于多项式），来做曲线拟合。
拟合曲线：
这其实可以看成关于a1,a2…am的m元一次线性函数，所以这叫做m元线性回归。
2，损失函数
假设一共有k个点，那么损失函数可以表示成：
这种用平方表示损失函数的方法，就叫最小二乘法。
L是关于a1,a2…am的m元函数。
3，损失函数的最小值
要求出m个ai的值，使得损失函数L取到最小值。
很明显，L取最小值时，L关于a1,a2…am的偏导都是0，于是就有了m个方程：
变形：
继续变形：
于是可以用线性代数直接得到解：
PS：分子其实就是把分母右边的φj(xi)换成了yi，分子分母都是k个矩阵求和之后再求行列式。