regression模型（Linear/Logistic/Softmax Regression对比）

本文目录

• Linear/Logistic/Softmax Regression对比
• 回归模型有哪些应用
• 线性回归模型的原理
• 什么是线性回归模型
• 多元线性回归模型
• 线性回归模型原理
• 回归模型p值太大原因
• 回归模型是经验模型吗
• 结构方程模型在回归分析的基础

Linear/Logistic/Softmax Regression对比

Linear/Logistic/Softmax Regression是常见的机器学习模型，且都是广义线性模型的一种，有诸多相似点，详细对比之。原文见 Linear/Logistic/Softmax Regression对比 。

Linear Regression是回归模型，Logistic Regression是二分类模型，Softmax Regression是多分类模型，但三者都属于广义线性「输入的线性组合」模型「GLM」。

其中Softmax Regression可以看做Logistic Regression在多类别上的拓展。

Linear Regression，维度为 的向量

Logistic Regression，维度为 的向量

Softmax Regression，维度为 的矩阵

Linear Regression输出样本的得分「标量」。

Logistic Regression输出正样本的概率「标量」。

Softmax Regression输出为 个类别的概率「向量」。

Linear Regression是回归问题，损失函数一般取平方误差；Logistic/Softmax Regression是分类问题，损失函数一般用交叉熵。

分类问题，对样本 ，模型输出在类别上的概率分布，可统一表示为条件概率 ，可以直接写出交叉熵表达式，也可以通过极大似然法则导出，最终效果一样。

Linear Regression。

Logistic Regression。条件概率可以表示为

对所有训练样本，损失函数为

Softmax Regression。条件概率可以表示为

对所有训练样本，损失函数为

对比式子Logistic/Softmax Regression，二者的损失函数形式完全一致，就是 交叉熵损失 。真实概率分布 和预估概率分布 的交叉熵为

Linear/Logistic/Softmax Regression都是广义线性模型的一种，其形式都极其相似，包括梯度。

Linear Regression梯度

其中 。

Logistic Regression梯度

其中 。

Softmax Regression梯度

其中预测结果见上文 模型输出对比 内容，方便表示，分别对 求导。

梯度形式非常的 Intuitive ，更新尺度 正比于误差项 ！

回归模型有哪些应用

回归模型的应用有：影响因素分析、经济变量控制、被解释变量预测。

回归模型（regression model）对统计关系进行定量描述的一种数学模型。如多元线性回归的数学模型可以表示为y=β0+β1*x+εi，式中，β0，β1，…，βp是p+1个待估计的参数，εi是相互独立且服从同一正态分布N(0,σ2)的随机变量，y是随机变量；x可以是随机变量，也可以是非随机变量,βi称为回归系数，表征自变量对因变量影响的程度。

回归模型是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。

回归分析也允许我们去比较那些衡量不同尺度的变量之间的相互影响，如价格变动与促销活动数量之间联系。这些有利于帮助市场研究人员，数据分析人员以及数据科学家排除并估计出一组最佳的变量，用来构建预测模型。

线性回归模型的原理

线性回归模型的原理如下：

线性回归模型是用一条曲线拟合一个或多个自变量x与因变量y之间的关系。若曲线是一条直线，则为一元线性回归；若是超平面，则是多元线性回归；否则是非线性回归，常见的非线性回归包括多项式回归、逻辑回归。通过样本学习映射关系f:x-》y，得到的预测结果y是连续值变量。

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。 

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。

只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。（这反过来又应当由多个相关的因变量预测的多元线性回归区别，而不是一个单一的标量变量。）

在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。

什么是线性回归模型

线性回归模型， 一种特殊的线性模型.若变量y与变量x= }x‑xz, "..二，)的关系表示为y=fCx)+E，且称f (x)为y对x的回归，f (x)称为回归函数.通常在正态分布情形，若f (x》是x的线性函数(30 +gx,此时称为线性回归，月。称为回归常数，厌-}};}z}…，月，)称为回归系数.线性回归模型(linear regression model) 一种特殊的线性模型.若变量y与变量x= }x‑xz, "..二，)的关系表示为y=fCx)+E，且称f (x)为y对x的回归，f (x)称为回归函数.通常在正态分布情形，若f (x》是x的线性函数(30 +gx,此时称为线性回归，月。称为回归常数，厌-}};}z}…，月，)称为回归系数.

多元线性回归模型

　　多元线性回归模型表示一种地理现象与另外多种地理现象的依存关系，这时另外多种地理现象共同对一种地理现象产生影响，作为影响其分布与发展的重要因素。　　设变量Y与变量X1，X2，…，Xm存在着线性回归关系，它的n个样本观测值为Yj,Xj1,Xj2,…Xjm�(j＝1，2，n)，于是多元线性回归的数学模型可以写为：　　可采用最小二乘法对上式中的待估回归系数β0，β1，…，βm进行估计，求得β值后，即可利用多元线性回归模型进行预测了。　　计算了多元线性回归方程之后，为了将它用于解决实际预测问题，还必须进行数学检验。多元线性回归分析的数学检验，包括回归方程和回归系数的显著性检验。　　回归方程的显著性检验，采用统计量：　　式中： ，为回归平方和，其自由度为m； ，为剩余平方和，其自由度为(n－m－1)。　　利用上式计算出F值后，再利用F分布表进行检验。给定显著性水平α，在F分布表中查出自由度为m和(n－m－1)的值Fα，如果F≥Fα，则说明Y与X1，X2，…，Xm的线性相关密切；反之，则说明两者线性关系不密切。　　回归系数的显著性检验，采用统计量：　　式中，Cii为相关矩阵C＝A-1的对角线上的元素。　　对于给定的置信水平α，查F分布表得Fα(n－m－1)，若计算值Fi≥Fα，则拒绝原假设，即认为Xi是重要变量，反之，则认为Xi变量可以剔除。　　多元线性回归模型的精度，可以利用剩余标准差　　来衡量。S越小，则用回归方程预测Y越精确；反之亦然。

线性回归模型原理

线性回归模型原理如下：

1、基本形式：

线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数。

w和b学得之后，模型就得以确定。w直观表达了各属性在预测中的重要性。

2、线性回归：

提出假设，给定数据集其中：

“线性回归”（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记。

线性回归可以被看做是样本点的最佳拟合直线。

这条最佳拟合线也被称为回归线（regression line），回归线与样本点之间的垂直连线即所谓的偏移（offset）或残差（residual）——预测的误差。

在只有一个解释变量的特殊情况下，线性回归也称为简单线性回归（simple linear regression）

当然，我们可以将线性回归模型扩展为多个解释变量。此时，即为所谓的多元线性回归（multiple linear regression）。如下图所示即为二元线性回归，一个回归平面来拟合样本点。

基于最小二乘法构建线性回归模型：

设计代价函数：通过最小二乘法，基于均方误差最小化来求解回归曲线的参数，使得回归曲线到样本点垂直距离（残差或误差）的平方和最小。

代价函数为：

代价函数最小化求解：需要求解代价函数最小时的w和b的值。

回归模型p值太大原因

因变量与这个变量不相关。回归模型p值太大因为该模型的R的平方很高，且F值很小，这是多重共线性造成的，说明因变量与这个变量不相关。回归模型（regressionmodel）对统计关系进行定量描述的一种数学模型，如多元线性回归的数学模型可以表示为y=β0+β1*x+εi。

回归模型是经验模型吗

是。回归模型（regressionmodel）对统计关系进行定量描述的一种数学模型，是做数据分析，统计建模和机器学习最先接触的模型。该模型是经验模型，是因为实际的函数关系通常以人们对理论中潜在机理的了解为基础产生，人们将其视为经验模型。此模型又称为统计经验模型法。

结构方程模型在回归分析的基础

结构方程模型的估计逻辑不同于回归分析方法，它的目标不是尽可能地缩小预测值与观测值之间的差异，而是要尽可能地缩小观测的方差/协方差矩阵（基于样本数据）与预测的方差协方差矩阵（由模型推导预测）之间的差异。

线性因果关系建模方法论的基础

一般认为，回归模型(regression model)的基本概念是英国生物学家高尔顿(F.Galton,1822-1911)在1889年出版的《自然遗传》(Natural Heritance)一书提出的，其后逐步发展完善，并在生物学、社会学、经济学、医学等领域内得到广泛应用。在回归分析的理论和方法基础之上，计量经济学于20世纪前期建立和发展起来。回归模型是测定、验证一个或几个自变量（原因变量）对一个因变量（结果变量）影响力大小和方向的数学方程式。作为经典的计量经济模型，回归模型（尤其是线性回归模型）在经济学因果关系研究方面已得到广泛的应用，具有最成熟的理论和应用基础。其基本建模思想是：首先依据一定的经济理论或经验，先验地用一个数学方程式表示被研究系统内经济变量之间的因果关系；然后根据可资利用的样本数据，选择适当的方法（如最小二乘法及其拓展形式、最大似然估计法、矩方法，等等），求出模型参数的估计值。但模型是否符合实际，能否解释实际经济过程，还需要进行检验，以确定它们在理论上是否有意义，在统计上是否显著。如果模型通过了有关检验，就可以应用于验证经济理论，分析经济结构，评价政策决策，仿真经济系统以及预测经济发展这几个方面。