Athans Blog

我们从矩阵的角度来更泛化地讨论一下线性回归模型。我们先举一个关于多重线性回归的具体例子。如果我们想要研究教育和工作年限对于时薪的作用，我们建立一个线性模型：$wage=\beta_0+\beta_1 educ+\beta_2 exper +u$。其中响应变量是工资（wage），预测变量是教育（educ），工作年限（exper）。回归系数是：$\beta_0,\beta_1,\beta_2$，噪音变量是：$u$。

导论

我们从更严谨的角度来定义多重线性回归。响应变量是：$Y$；预测变量是：$X_{1*(p+1)}=(1, X_1,...,X_p)$；回归系数是$\beta_{(p+1)*1}=(\beta_0, \beta_1,...,\beta_p)^T$；噪音变量是：$\epsilon$。模型是：$Y=X\beta+\epsilon$。其中系数$\beta_i$的意义是，在其他变量保持不变的情况下，$\beta_i$可以衡量相对于$X_i$变化$Y$的变化。然而现实中，我们并不能真正严格保持其他变量不变来观察单个预测变量的灵敏度。

数据上看，假设样本数量是n，预测变量有p个。那么模型可以写成：$Y_i=\beta_0+\beta_1X_{i,1}+...+\beta_pX_{i,p}+\epsilon, i=1,...,n$。每个样本中的预测变量是：$X_{(i)}=(1,X_{i,1},...,X_{i,p})$；回归系数是：$\beta_{(p+1)*1}=(\beta_0, \beta_1,...,\beta_p)^T$；如此模型便是：$Y=X_{(i)}\beta+\epsilon, i=1,...,n$。我们将模型向量化之后，响应向量是：$Y_{n*1}=(Y_1,...,Y_n)^T$；设计矩阵是：$X_{n*(p+1)}=(X_{(1)},...,X_{(n)})^T=(1,X_1,...,X_p)$；噪音向量是：$\epsilon_{n*1}=(\epsilon_1,...,\epsilon_n)^T$。那么之前的模型可以转化成：$Y_{n*1}=X_{n*(p+1)}\beta_{(p+1)*1}+\epsilon_{n*1}$。

最小二乘估计

最小二乘估计指的是通过最小化残差平方和来估计回归系数$\beta$，$\hat \beta=argmin_{\beta}\sum_{i=1}^n(Y_i-X_{(i)}\beta)^2$。用矩阵形式来表示，$\hat \beta=argmin_{\beta}||y-X\beta||^2$。这等价于最小化$y$和$X\beta$差的L2范式。我们对上述公式求一阶导数并使之为零来求取最小二乘估计值。一阶导数为零的条件是：$X^T(y-X\hat \beta)=0$。当可逆$X^TX$时，$\hat \beta$的最小二乘估计是$\hat \beta=(X^TX)^{-1}X^Ty$。

在得到系数的最小二乘估计后，多重线性回归模型的拟合值为：$\hat y=X\hat \beta$。残差为：$\hat \epsilon=y-\hat y=y-X\hat \beta$。我们回到之前对于回归系数的讨论，假设$\hat r_j$是$X_j$回归到$X_0,X_1,...,X_{j-1}, X_{j+1},...,X_p$上的最小二乘残差，则$\hat \beta_j$可以表示为$\hat \beta_j=\frac{\hat r_jy}{\hat r_j^T\hat r_j}$，即$y$对于$\hat r_j$的无截距项的简单线性回归的参数估计。$\hat \beta_j$表征着将$X_0,X_1,...,X_{j-1}, X_{j+1},...,X_p$剔除后的$X_j$对于$y$的影响。

举个例子，假定模型$Y=X+Z+\epsilon$，其中$X,Z,\epsilon$各自相互独立。再假设我们观察到两个预测变量$X_1=X$和$X_2=X-Z$。如果我们将$Y$回归到$X_2$上，我们得到的回归系数很可能是0。如果我们将$Y$回归到$X_1$和$X_2$上，我们将得到$Y\approx X+Z=2X_1-X_2$，$X_2$的系数是-1。下面来看看如何用“”剔除“”来解读-1这一回归系数：我们将$X_2$回归到$X_1$上，此时的残差为$-Z$。我们再将$Y$回归到残差$-Z$上，我们同样得到了-1的系数。在这个例子中，多重线性回归的系数体现了剔除掉$X_1$后$X_2$对于$Y$的影响，也即潜变量$Z$的影响。

之前提到，最小二乘的一阶导数为零的条件$X^T(y-X\hat \beta)=0$，于是我们有$X^T\hat \epsilon =0$。展开此公式，我们得到残差$\\hat \\epsilon$的下列性质

1. $1^T \hat \epsilon =0$因此$\bar y=\bar {\hat y}$
2. 当$i=1,..,p$，$X_i \hat \epsilon=0$。预测变量$X_i$与残差$\hat \epsilon$的样本协方差为零。
3. $\bar y=(1,\bar X_1, .., \bar X_p)\hat \beta$

我们可以通过线性回归模型的几何意义来理解预测变量，拟合值与残差的关系。

由图所示，线性回归实际上就是把响应变量$y$以残差最小的方式投影到预测变量$X$张成的子空间上，$\hat y=X(X^TX)^{-1}X^Ty$。我们知道矩阵的本质是作线性变换（投影），此时的投影矩阵是：$H=X(X^TX)^{-1}X^T$。投影矩阵的性质有$HH=H$以及$H(1-H)=0$。我们可以将拟合值定义为$\hat y=Hy$，残差定义为$\hat \epsilon =(1-H)y$，他们满足$y=\\hat y+\\hat \\epsilon$和$\\hat y \\perp \\hat \\epsilon$。

再来看看用来衡量拟合程度的R方，由于$\hat y-\bar y1 \perp \hat \epsilon$，因而$||y-\bar y1||^2=||\hat y-\bar y1||^2+||\hat \epsilon||^2$，也可表示成$SST=SSE+SSR$。R方的定义是：$R^2=\frac{SSE}{SST}=1-\frac{SSR}{SST}$。我们可以论证R方是$y-\bar y1$和$\hat y-\bar y1$的样本相关系数的平方。要注意的是在额外加入任何预测变量后回归模型的R方都会只增不减。R方可以衡量整个模型的拟合程度，但无法决定单个预测变量的重要性。

重温一下在线性回归模型中使用最小二乘估计的几大假设：

• 参数的线性性，模型$Y=\beta_0+\beta_1X_1+...+\beta_pX_p+\epsilon$是参数$\beta_0,\beta_1,...,\beta_p$的线性组合（注意模型不一定是预测变量的线性组合）
• 随机取样性，$i=1,...,n$观测值$(X_{(i)},y_i)$是某个概率模型中独立同分布的样本
• 预测变量间不存在完全的多重共线性，即$X_i$与剩余预测变量间不会正好线性相关。
• 残差的条件期望为零$E[\epsilon|X_1,...,X_p]=0$。也就是说，对于的样本$i=1,...,n,E[\epsilon|x_1,...,x_p]=0$，或者用矩阵形式表示$E[\epsilon|X]=0$。

在满足了上述假设后，$E(\hat \beta)=\beta$，也就是说参数的最小二乘估计量是无偏的。

再追加一条关于最小二乘估计的方差的假设

• 同方差性，噪音变量$\epsilon$在给定预测变量的条件下有相同的方差。$Var(\epsilon_i|x_1,...,x_p)=\sigma^2, i=1,...,n$。矩阵形式表示为$Cov(\epsilon|X)=\sigma^2I$。

在满足了上面所有假设后，在预测变量的样本值给定条件下，最小二乘估计的样本方差是$Cov(\hat \beta|X)=\sigma^2(X^TX)^{-1}$。

对于每一个系数估计的方差，我们可以得到$Var(\hat \beta_j|X)=\frac{\sigma^2}{SST_j(1-R_j^2)}=\frac{\sigma^2}{SSR_j}$，其中$SST_j=||X_j-\bar X_j||^2$是预测变量$X_j$的样本总方差，$R_j^2$是将$X_j$回归到其他所有预测变量的R方，$SSR_j$是将$X_j$回归到其他所有预测变量的残差平方和。

下面谈谈多重共线性，假定有两个完全一样的预测变量$X_1$和$X_2$。由于$(\hat \beta_1+c)X_1+(\hat \beta_2-c)X_2=\hat \beta_1X_1+\hat \beta_2X_2$，最小二乘法没有唯一解。退一步假定$X_1$和$X_2$几乎一样，$X_2=X_1+\omega$。那么$[(\hat \beta_1+c)X_1+(\hat \beta_2-c)X_2]-[\hat \beta_1X_1+\hat \beta_2X_2]=-c\omega$。$c$的估计值由噪音$\omega$决定，从而导致系数$\hat \beta_1$和$\hat \beta_2$估计的高方差。

多重共线性的精确定义是：存在$j$使得预测变量$X_j$能被表示成其他预测变量的线性组合，导致$X^TX$不满秩而无法求逆。$\hat \beta$的最小二乘估计没有唯一解。我们一般提到多重共线性是指两个或多个预测变量之间相关系数较高。因为相关系数较高，则该预测变量对应的$R_j^2 \to 1$，因此$Var(\hat \beta_j|X)=\frac{\sigma^2}{SST_j(1-R_j^2)} \to \infin$。我们可以利用方差扩大因子（VIF）：$VIF_j=1/(1-R_j^2)$来检测多重共线性。VIF值较高则意味着变量间潜在的多重共线性。

利用残差$\hat \epsilon$，我们可以估计$\sigma^2$为$\hat \sigma^2=\frac{||\hat \epsilon||^2}{n-p-1}=\frac{SSR}{n-p-1}$。其中估计量的自由度是$n-p-1$，也即观测值的数目减去参数数目。我们可以从几何意义上来理解，因为残差$\hat \epsilon$正交与X张成的子空间，所以残差的子空间维度是$n-p-1$（总的空间维度是n）。这里$\sigma^2$的残差估计是无偏的，即$E[\hat \sigma^2]=\sigma^2$。而参数估计的标准差是，$Sd(\hat \beta_j)=\frac{\hat \sigma}{(SST_j(1-R_j^2))^{1/2}}$。

偏差方差权衡是一个在机器学习领域很常见的话题，但它其实是一个统计概念。假设我们有一个真实的回归模型：$Y=\beta_0+\beta_1X_1+\beta_2X_2+\epsilon$。我们考虑系数$\beta_1$的两种估计。第一种$\hat \beta_1$来自真实的多重线性回归$\hat Y=\hat \beta_0+\hat \beta_1X_1+\hat \beta_2X_2$；第二种$\tilde \beta_1$来自错误的回归（未囊括预测变量）$\tilde Y=\tilde \beta_0+\tilde \beta_1X_1$。对于这两种估计的偏差，我们有$Bias(\hat \beta_1)=0$，$Bias(\tilde \beta_1)=\frac{Cov(X_1, X_2)}{Var(X_1)}\beta_2$。而对于这两种估计的方差，我们有$Var(\hat \beta_1)=\frac{\sigma^2}{SST_1(1-R_1^2)}$，$Var(\tilde \beta_1)=\frac{\sigma^2}{SST_1}$。因此我们发现，$Bias(\tilde \beta_1)^2 \ge Bias(\hat \beta_1)^2$，$Var(\tilde \beta_1)\le Var(\hat \beta_1)$。错误的回归模型并非一无是处，只是在偏差方差的权衡中偏向了方差而已。

偏差方差权衡来源于这样一个问题，我们究竟如何衡量参数估计$\hat \beta$的准确性？我们有$E[(\hat \beta-\beta)^2]=Bias(\hat \beta)^2+Var(\hat \beta)$，而最小化这一表达式需要在偏差与方差做出权衡。在之前的例子中，真实模型给出的$\hat \beta_1$是无偏的但却有更大的方差，错误模型给出的$\tilde \beta_1$有偏差但方差更小。一般情况下引入更多预测变量会减小模型的偏差但会增加模型的方差。让模型囊括所有相关的预测变量并不总是有利的，我们还需要做变量筛选。

高斯马尔可夫定理论证了最小二乘估计的有效性，在之前提到的经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量（BLUE）。我们将BLUE拆开看：

• 线性：$\hat \beta=(X^TX)^{-1}X^Ty$，$\tilde \beta=Cy$是响应变量观测值$y$的线性组合，其中$C$取决于预测变量的观测值。
• （最好的）无偏：对于任何无偏的估计量$\tilde \beta$，$E||\tilde \beta-\beta||^2=Cov(\tilde \beta)$。而“最好的”无偏估计$\hat \beta$拥有最小的方差，严格意义上，对于任何其他无偏估计量，$Cov(\tilde \beta)-Cov(\hat \beta)$是半正定的。
• 最小方差：当$j=0,...,p$，$Var(\hat \beta_j) \le Var(\tilde \beta_j)$。

推断

回到导论中提到的多重线性回归模型$y_{n*1}=X_{n*(p+1)}\beta_{(p+1)*1}+\epsilon_{n*1}$，我们追加一条对于残差项的正态分布假设$\epsilon_i|X \sim N(0,\sigma^2)$，或者用矩阵形式表示$\epsilon|X \sim N(0,\sigma^2I_n)$。因为响应变量的波动性全部来自于残差变量的波动性，因为正态分布假设等同于$y|X \sim N(X\beta,\sigma^2I_n)$。

我们知道参数的最小二乘估计$\hat \beta =(X^TX)^{-1}X^Ty$，那么在正态分布假设下，$\hat \beta \sim N(\beta, \sigma^2(X^TX)^{-1})$。对于每个参数$\beta_j$，$\hat \beta _j\sim N(\beta_j, Var(\hat \beta _j))$，经过变换得到$\frac{\hat \beta _j-\beta _j}{sd(\hat \beta _j)}\sim N(0,1)$。问题是我们不知道参数估计的真实标准差，但我们可以估计参数估计的标准差$\hat {sd}(\hat \beta _j)=\frac{\hat \sigma}{(SST_j(1-R_j^2))^{1/2}}=\frac{\hat \sigma}{\sigma}sd(\hat \beta _j)$，同时我们有$\frac{\hat \sigma^2}{\sigma^2}\sim \frac{\chi^2_{n-p-1}}{n-p-1}$。于是我们引入不包含任何未知变量的t统计量$T_{\hat \beta _j}$，$T_{\hat \beta _j}=\frac{\hat \beta _j-\beta_j}{\hat{sd}(\hat \beta _j)}=\frac{(\hat \beta _j-\beta_j)/sd(\hat \beta _j)}{\sqrt{\hat \sigma^2/\sigma^2}} \sim \frac{N(0,1)}{\sqrt{\chi^2_{n-p-1}/(n-p-1)}}$。

t统计量$T_{\hat \beta _j}$服从自由度为的t分布$T_{\hat \beta _j} \sim t_{n-p-1}$。t分布长什么样呢？下图展示了t分布和正态分布的概率密度函数形状。

接下来谈谈单个参数的假设检验，也著名的t检验。其中零假设为$H_0:\beta_j=0$。锚定其他预测变量之后$X_j$与$Y$线性无关。t统计量$T_{\hat \beta _j}=\frac{\hat \beta _j}{\hat{sd}(\hat \beta _j)} \sim t_{n-p-1}$。在5%的显著性水平下，当$|T_{\hat \beta _j}|>t_{n-p-1}^{0.975}$拒绝零假设。P值定义为$P(|t_{n-p-1}|>|T_{\hat \beta _j}|)$，等价于说当p值小于5%时拒绝零假设。

由于$\frac{\beta _j-\hat \beta_j}{\hat{sd}(\hat \beta _j)} \sim t_{n-p-1}$，对于未知参数$\beta_j$，它的95%的置信区间为$\hat \beta_j \pm t_{n-p-1}^{0.975}\hat{sd}(\hat \beta_j)$。有了参数的置信区间，我们可以进一步推导预测值的置信区间。对于一个新的测试样本$(X_0, y_0)$，预测值$y_0=X_0\hat \beta$。易得$\frac{y_0-\hat y_0}{\hat se(\hat y_0)} \sim t_{n-p-1}$，其中$\hat se(\hat y_0)=\hat \sigma \sqrt{X_0(X^TX)^{-1}X_0^T}$。那么$y_0$的95%的置信区间是$\hat y_0 \pm t_{n-p-1}^{0.975}\hat{se}(\hat y_0)$。

F检测是用来检验多个参数的假设检验，其零假设时q个预测变量的系数同时为零，$H_0:\beta_{p-q+1}=0,...,\beta_p=0$。我们假定完整的回归模型是：$Y=\beta_0+\beta_1X_1+...+\beta_pX_p+\epsilon$，有限的回归模型是：$Y=\beta_0+\beta_1X_1+...+\beta_{p-q}X_{p-q}+\epsilon$，那么从残差平方和的角度看，完整模型的$SSR_f<=$有限模型的$SSR_r$。

F统计量被定义为$F=\frac{(SSR_r-SSR_f)/q}{SSR_f/(n-p-1)}$。其中$SSR_r-SSR_f$代表了我们将要测试的q个预测变量能够解释的波动性。分子的自由度是$q=df_r-df_f$，分母的自由度是$n-p-1=df_f$，F统计量满足F分布，$F\sim F_{q,n-p-1}=\frac{\chi_q^2/q}{\chi_{n-p-1}^2/(n-p-1)}$。对于F检测，当$F>F_{q,n-p-1}^{0.95}$我们拒绝零假设，P值为$P(F_{q.n-p-1}>F)$。

F检测通常被用来检测所有的预测变量是否同时与响应变量线性无关，也即$q=p, H_0:\beta_1=\beta_2=...=\beta_p=0$，此时F统计量是用于检测整个回归模型的显著性，$F=\frac{R^2/p}{(1-R^2)/(n-p-1)}$。当$q=1$时，F检测和t检测在$\beta_j=0$检测上是等价的。我们可以推导$H_0:\beta_p=0$ 时，$F=\frac{\chi_1^2}{\chi_{n-p-1}^2/(n-p-1)}=\frac{N(0,1)^2}{\chi_{n-p-1}^2/(n-p-1)}=t_{\hat \beta_p}^2$。

模型选择

为什么要进行模型选择呢？想象一下你手头有一千个预测变量，你会将他们一股脑放进你的线性回归模型吗？如果这么做了，一方面预测变量间会有多重共线性问题，另一方面即使他们相互独立，还是会因为囊括了无关的预测变量而造成模型过拟合问题，使得我们在偏差方差权衡中只关注减少偏差而产生极大的方差。因此我们需要选择出相互独立的且有预测效用的预测变量，这就是模型选择的动机。

预测变量的筛选准则是什么？换句话说我们要保证选出来的预测变量能够最优化某个模型选择的指标函数。这个筛选准则不能是残差平方和RSS或者R方，因为他们只会随着预测变量数目的增加而增加。我们需要同时考虑偏差和方差，通常我们考虑使用AIC（赤池信息量准则）和BIC（贝叶斯信息量准则）。两者非常相似，$AIC=-2log(\hat L)+2p$，其中$\hat L$是使用线性模型在当前参数估计下的似然函数值，而$BIC=-2log(\hat L)+plog(n)$。

有了准则，我们进行模型选择的一种策略就是搜索预测变量的全部子集，然后选择其中能够最小化AIC或BIC的那个集合。但全部子集的数量会随着预测变量数目而指数增长，p个预测变量会产生$2^p$个子集。另一种策略是逐步变量选择，这种策略可以进一步划分为前向逐步回归和后向逐步回归，他们的思路近乎一致：

• 起始将预测变量的空集/全集构建回归模型
• 在每一次迭代中，加入/移除某一个预测变量，使得AIC或BIC能够最大程度的降低/升高。
• 当加入/移除任何一个预测变量都不能让AIC或BIC再降低/升高时停止

当然我们也可以在两个方向都进行逐步的搜索，即在每一次迭代中我们同时考虑加入和移除某个预测变量。我们可以看出这是一种类似“贪心算法”的策略。

除了对预测变量下功夫，我们也通过正则化模型来达到模型选择的效果。具体来说，岭回归和Lasso回归通过直接优化残差平方和+正则项来进行模型选择。

• 岭回归：$PRSS=\sum_{i=1}^n(y_i-X_i^T\beta)^2+\lambda ||\beta||^2$
• Lasso回归：$PRSS=\sum_{i=1}^n(y_i-X_i^T\beta)^2+\lambda ||\beta||$

岭回归和Lasso回归看似近似却又不同。岭回归有着解析解：$\hat \beta_{ridge}=(X^TX+\lambda I_p)^{-1}X^Ty$，而Lasso回归只能通过数值优化方法解出。两种回归方法都能有效处理多重共线性问题，区别在于岭回归不会将预测变量的系数缩减到零，但Lasso会将系数归零。假设我们有$y=X\beta+\epsilon$，我们构建一个多重回归$y=X_1\beta_1+X_2\beta_2+\epsilon$，其中$X_1,X_2$都是$X$附带一点小噪声（两者高度线性相关）。那么岭回归会将$\beta_1$和$\beta_2$都估计为$\beta/2$，而Lasso回归会将$\beta_1$和$\beta_2$其中一个估计为$\beta$，另一个为0。

我们注意到岭回归和Lasso回归的模型中还有一个超参数$\lambda$，如何选取它的值呢？一个常用的办法是K折交叉验证：我们先将全部数据拆分成训练集T和测试集S，然后将训练集随机等分成K折，$T=T_1,...,T_K$。对于$k=1,..,K$和每个$\lambda$，使用除开 k折$T_k$之外的训练集拟合出模型，利用这个模型计算$T_K$中数据的拟合值。对于每个$\lambda$的交叉验证整体误差为：$CV Error_\lambda = \frac{1}{|T|} \sum_{i=1}^{|T|}(y_i-\hat y_i^{\lambda, CV})^2$。我们选取能让$CV Error_\lambda$最小化的那个$\lambda^*$。之后我们将$\lambda^*$带入整个训练集来拟合出模型，最后使用测试集S来衡量这个模型的有效性。

模型诊断

如果要对线性回归模型进行参数估计和推断，我们需要以下的假设：

• 线性关系
• 独立同分布的样本
• 残差服从均值为0，方差恒定的正态分布

但我们如何从模型的结果判定这些假设是否都满足了呢？我们可以通过残差图来进行模型诊断。下图展示了良好的残差图，即样本是独立同分布，残差的均值为0方差恒定。

下图则是样本中存在异常值的残差图。

样本中为何存在异常值？这可能是数据收集是产生的错误，也可能是样本中包含了极端事件，又或是其他结构性的原因。当模型诊断出异常值后，我们可以直接去掉异常值，也可以削减异常值使其取值限于一定区间内，也可以单独为异常值来建模。

如果残差图显示了类似$x^2$的非线性关系，我们可以将$x^2$作为预测变量。

又如果残差图显示了类似$e^y$的非线性关系，那么可以将$log(y)$而不是$y$作为响应变量。

若残差随着$|x|$增长，意味着$\sigma^2(x) \sim Cx^2$。此时我们可以使用加权线性回归。

若残差有自相关关系，此时我们可以使用时间序列模型。

哑变量

首先我们需要知道分类变量，不同于数值变量，分类变量比如职业取值$\{0,1,2\}$，来代表$\{学生,教授,医生\}$这些不同职业。哑变量与分类变量息息相关。假定分类变量$X$取值$\{0,1,..,q\}$代表$q+1$种类。我们可以将其变换成$q$个哑变量$Z_1,...,Z_q$，使得$Z_i$是种类$i$的二元变量（0代表“基本”种类）

$$Z_i=\begin{cases} 1, X=i\\ 0, otherwise \end{cases} i=1,...,q$$

原本的线性回归模型是$Y=\beta_0+...+\beta X+...$，加入哑变量后$Y=\beta_0+...+(\gamma_1Z_1+...+\gamma_qZ_q)+...$。$\gamma_i$表征属于种类$i$和属于“基本”种类0的区别，为什么不使用$q+1$个哑变量？因为这样会造成和截距项的共线性，基本种类的$\gamma_0$其实已经包含在截距系数$\beta_0$里了。

下面我们考虑分类变量之间的关系，假设我们有两个分类变量$X_1$（$q+1$类）和$X_2$（$r+1$类）。哑变量的相互关系可以用如下矩阵表示

$$Z_{ij}=\begin{cases} 1, X_1=i, X_2=j\\ 0, otherwise \end{cases} i=1,...,q ,j=1,...,r$$

其中$Z_{i.} i=1,...,q$表示$q$变量$X_1$的边际效应，$Z_{.j} j=1,...,r$表示$r$变量$X_2$的边际效应

加权线性回归

为什么样本需要权重？因为样本的噪音（残差）有着不同的方差，我们需要给残差方差小的样本更高的权重。样本有不同价值或对应不同的损失函数值，我们需要给高价值低损失的样本更高的权重。有的样本因为种种原因自身有着更高的重要性，我们需要给重要的样本更高的权重。

加权线性回归模型对应的加权最小二乘法（WLS）损失函数为：$\sum_{i=1}^nw_i(y_i-X_i\beta)^2$。如果我们根据残差方差进行加权，那么$w_i \sim \frac{1}{\sigma_i^2}$。我们也可以使用样本价值，损失值或其他重要性指标来赋值$w_i$。

用矩阵形式表示WLS损失函数为：$(y-X\beta)^TW(y-X\beta)$，其中$W=diag(w_1,...,w_n)$。WLS的解析解是$\hat \beta_{WLS} = (X^TWX)^{-1}X^TWy$，相比于OLS的解析解$\hat \beta_{OLS} = (X^TX)^{-1}X^Ty$，多了这一项$W$。当样本残差相互关联时，$W$可以不是对角阵。此时损失函数变为$(y-X\beta)^T\Sigma^{-1}(y-X\beta)$。