损失函数曲线（DFSS培训咨询中的质量损失函数和质量特性波动有什么关系）

本文目录

• DFSS培训咨询中的质量损失函数和质量特性波动有什么关系
• 怎样使损失函数在梯度方向上减少
• 损失函数与鲁棒性
• 线性回归能够求解二次曲线拟合问题吗
• 常见的损失函数
• 田口质量损失函数曲线是一条什么线
• 在某垄断竞争市场，代表性厂商的长期成本函数为LTC=5Q*Q*Q-200Q*Q+2700Q，市场的需求函数为P=2200A-100
• 深度学习之损失函数与激活函数的选择

DFSS培训咨询中的质量损失函数和质量特性波动有什么关系

　　质量特性的波动(即产品性能相对设计目标值的偏离)是引起质量损失和质量问题的原因，田口博士建立了质量损失函数，以描述质量损失与质量波动之间的关系。

　　一批产品L(y)的数学期望：

　　Y 服从正态分布N(μ, σ2)时：

　　σ2和(μ-m)2决定了曲线j(y)的形状与位置， 而k则决定了质量损失函数L(y)的形状；

　　健壮设计的目标有两个：一个目标是使最小，即曲线j(y)很陡且均值接近m；另一个目标是使k最小，即曲线L(y)很平坦，从而使产品的质量损失最小。

　　健壮设计流程图

怎样使损失函数在梯度方向上减少

,在(x0.y0)点出发的方向由无穷多个,那这时函数变化快慢就由方向导数来反映.假如在所在的屋顶是一个曲面,你所在的地面就是定义域,你站在一点,头上对应屋顶一点,当你要从这点离开时,屋顶的高度是变大还是变小,变化的程度怎样?这就是方向导数反映的.梯度的方向是一个特定的方向,你往这个方向走屋顶就向最陡峭的方向,梯度的模反映陡峭到什么程度.一元函数在一点的导数是反映函数在这点变化趋势快慢的量,并且导数值是反映自变量由小变大时,函数值的增大趋势.自变量由大到小变化时,函数值的增大趋势是由负的导数值描述,这点很重要.二元函数的偏导数,本质上就是一元函数z=f(x,y0)的导数,反映曲面上的一条平面曲线：z=f(x,y),y=y0,在点(x0.y0)这点沿着x由小到大的方向变化时,z=f(x,y0)的变化快慢.显然,对二元函数而言,两个偏导数,只是反映了在点(x0.y0)沿着坐标轴方向上,函数变化快慢,坐标轴的反向变化情况,是由负的偏导数反映.紧接着的问题是,沿着任意方向的方向导数都存在,偏导数不一定存在.因为偏导数存在要求沿着坐标轴正向的与反向的方向导数必须是绝对值相等符号相反才成

损失函数与鲁棒性

机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小，模型越好，如果预测值与真实值相等，就是没有损失。 损失函数（Loss function）是用来估量模型的预测值 f(x) 与真实值 Y 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。 虽然损失函数可以让我们看到模型的优劣，并且为我们提供了优化的方向，但是我们必须知道没有任何一种损失函数适用于所有的模型。损失函数的选取依赖于参数的数量、异常值、机器学习算法、梯度下降的效率、导数求取的难易和预测的置信度等若干方面。 由于机器学习的任务不同，损失函数一般分为分类和回归两类，回归会预测出一个数值结果，分类则会给出一个标签。 0-1损失是指，预测值和目标值不相等为1，否则为0： 感知机就是用的这种损失函数。但是由于相等这个条件太过严格，因此我们可以放宽条件，即满足 |Y−f(X)|《T时认为相等。 逻辑回归的损失函数就是对数损失函数，在逻辑回归的推导中，它假设样本服从伯努利分布（0-1）分布，然后求得满足该分布的似然函数，接着用对数求极值。逻辑回归并没有求对数似然函数的最大值，而是把极大化当做一个思想，进而推导它的风险函数为最小化的负的似然函数。从损失函数的角度上，它就成为了对数损失函数。 损失函数的标准形式： 在极大似然估计中，通常都是先取对数再求导，再找极值点，这样做是方便计算极大似然估计。损失函数L(Y,P(Y|X))是指样本X在分类Y的情况下，使概率P(Y|X)达到最大值（利用已知的样本分布，找到最大概率导致这种分布的参数值） 最小二乘法是线性回归的一种方法，它将回归的问题转化为了凸优化的问题。最小二乘法的基本原则是：最优拟合曲线应该使得所有点到回归直线的距离和最小。通常用欧几里得距离进行距离的度量。平方损失的损失函数为： AdaBoost就是以指数损失函数为损失函数的。 指数损失函数的标准形式： Hinge损失函数用于最大间隔（maximum-margin）分类，其中最有代表性的就是支持向量机SVM。 Hinge函数的标准形式： 其中，t为目标值（-1或+1），y是分类器输出的预测值，并不直接是类标签。其含义为，当t和y的符号相同时（表示y预测正确）并且|y|≥1时，hinge loss为0；当t和y的符号相反时，Hinge损失函数随着y的增大线性增大。 在支持向量机中，最初的SVM优化的函数如下： 将约束项进行变形，则为： 则损失函数可以进一步写为： 因此，SVM的损失函数可以看做是L2正则化与Hinge loss之和。 平均绝对误差（MAE）是一种常用的回归损失函数，它是目标值与预测值之差绝对值的和，表示了预测值的平均误差幅度，而不需要考虑误差的方向（注：平均偏差误差MBE则是考虑的方向的误差，是残差的和），范围是0到∞，其公式如下所示： 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。我们可以看到随着误差的增加损失函数增加的更为迅猛。 Huber损失相比于平方损失来说对于异常值不敏感，但它同样保持了可微的特性。它基于绝对误差但在误差很小的时候变成了平方误差。我们可以使用超参数δ来调节这一误差的阈值。当δ趋向于0时它就退化成了MAE，而当δ趋向于无穷时则退化为了MSE，其表达式如下，是一个连续可微的分段函数： 对于Huber损失来说，δ的选择十分重要，它决定了模型处理异常值的行为。当残差大于δ时使用L1损失，很小时则使用更为合适的L2损失来进行优化。 Huber损失函数克服了MAE和MSE的缺点，不仅可以保持损失函数具有连续的导数，同时可以利用MSE梯度随误差减小的特性来得到更精确的最小值，也对异常值具有更好的鲁棒性。而Huber损失函数的良好表现得益于精心训练的超参数δ。 Log-Cosh损失函数是一种比L2更为平滑的损失函数，利用双曲余弦来计算预测误差： 它的优点在于对于很小的误差来说log(cosh(x))与（x**2）/2很相近，而对于很大的误差则与abs(x)-log2很相近。这意味着log cosh损失函数可以在拥有MSE优点的同时也不会受到异常值的太多影响。它拥有Huber的所有优点，并且在每一个点都是二次可导的。二次可导在很多机器学习模型中是十分必要的，例如使用牛顿法的XGBoost优化模型（Hessian矩阵）。 在大多数真实世界的预测问题中，我们常常希望看到我们预测结果的不确定性。通过预测出一个取值区间而不是一个个具体的取值点，这对于具体业务流程中的决策至关重要。 分位数损失函数在我们需要预测结果的取值区间时是一个特别有用的工具。通常情况下我们利用最小二乘回归来预测取值区间主要基于这样的假设：取值残差的方差是常数。但很多时候对于线性模型是不满足的。这时候就需要分位数损失函数和分位数回归来拯救回归模型了。它对于预测的区间十分敏感，即使在非均匀分布的残差下也能保持良好的性能。下面让我们用两个例子看看分位数损失在异方差数据下的回归表现。 上图是两种不同的数据分布，其中左图是残差的方差为常数的情况，而右图则是残差的方差变化的情况。我们利用正常的最小二乘对上述两种情况进行了估计，其中橙色线为建模的结果。但是我们却无法得到取值的区间范围，这时候就需要分位数损失函数来提供。 上图中上下两条虚线基于0.05和0.95的分位数损失得到的取值区间，从图中可以清晰地看到建模后预测值得取值范围。 分位数回归的目标在于估计给定预测值的条件分位数。实际上分位数回归就是平均绝对误差的一种拓展。分位数值得选择在于我们是否希望让正的或者负的误差发挥更大的价值。损失函数会基于分位数γ对过拟合和欠拟合的施加不同的惩罚。例如选取γ为0.25时意味着将要惩罚更多的过拟合而尽量保持稍小于中值的预测值。 γ的取值通常在0-1之间，图中描述了不同分位数下的损失函数情况，明显可以看到对于正负误差不平衡的状态。 参考文章：***隐藏网址******隐藏网址******隐藏网址***

线性回归能够求解二次曲线拟合问题吗

经典算法（一）：线性回归wyh_wen原创关注3点赞·2922人阅读 前言 1. 基本形式 2. 损失函数 2.1 损失函数 2.1.1 最小二乘法 2.1.2 极大似然估计 2.2 正规方程法 2.2.1 一般形式 2.2.2 矩阵形式 2.3 梯度下降法 2.3.1 梯度下降法的代数方式描述 2.3.2 梯度下降法的矩阵方式描述 2.3.3 梯度下降的算法调优 2.3.4 梯度下降法的类型 3. 欠/过拟合 3.1 欠拟合 3.1.1 何为欠拟合？ 3.1.2 解决方法 3.2 过拟合 3.2.1 何为过拟合？ 3.2.2 解决方法 4. 正则化 4.1 L0范数 4.2 L1范数与Lasso 4.3 L2范数与Ridge 4.4 Elastic Net 4.5 L1为稀疏约束的原因 前言 线性回归模型是用一条曲线去拟合一个或多个自变量 x 与因变量 y 之间关系的模型，若曲线是一条直线或超平面（成直线时是一元线性回归，成超平面时是多元线性回归）时是线性回归，否则是非线性回归，常见的非线性回归有多项式回归和逻辑回归。线性回归是有监督学习，有标签（可以理解为样本有y值）。通过学习样本 学习映射，得到预测的结果是连续值变量，这是简单的一元线性回归模型，多元线性回归模型后面会详细讲（两者的异同可以参考博文）。线性回归是基础算法，同时是高级算法的根基，所以有必要掌握它的思想并学会融会贯通。接下来我们将详细学习该算法。1. 基本形式 预测函数一般表示式令=1，可以写成 向量表达式2. 损失函数 2.1 损失函数 线性回归模型是用一条曲线去拟合x与y之间的关系，那拟合的效果的好坏如何去判定呢？这就是我们要提到的损失函数，每个算法的损失函数或许不一样，但我们的目的都是使得损失函数最小化，所以需要找到对应的权重θ使得损失函数最小。下面左图是一个权重下的损失函数图像，右图是两个权重下的损失函数，损失函数是凸函数，都有唯一的最小值点。一般将线性回归的损失函数定义为：下面的损失函数与该形式虽然形式不完全一样，但是含义一样。这里的 是为了求导计算的便利，而 是将损失平均化，消除样本量m带来的影响。 是预测值，但因为预测值与实际值之间还是存在一定的差距，如何去确定预测的效果的好坏，需要判定预测值与实际值之间的差距，这差距用误差来表示，即。至于损失函数 为什么需要使用平方和？下面从最小二乘法和极大似然估计两个方面去分析。 2.1.1 最小二乘法 误差有正有负，如果直接对求和，则会出现正负抵消的情况，反映不出整体误差情况。如果使用平方和，整体的误差分布不变，所以一般使用平方和做损失函数。 线性模型用一条直线（平面）拟合数据点，找出一条最好的直线（平面）即要求每个真实点直线（平面）的距离最近。即使得残差平方和（RSS）最小但由于每个样本的数据量存在较大的差异，为了消除样本量差异的影响，使用最小化均方误差（MSE）拟合所以得到损失函数式子中的 是为了求导计算便利添加的。 2.1.2 极大似然估计 误差中，误差是独立同分布的，并且服从均值为0方差为的高斯分布（也称为正态分布）。补充：正态分布的均值和方差取不同值，得到不同的分布图，但均值为0，方差为1的分布称为标准正态分布。 其中，高斯分布表达式为：由于误差服从均值为0方差为的高斯分布，所以满足： 于是得到：该式子表示和结合后的值与接近的概率，即误差最小的概率，即概率越大，说明预测值与真实值越接近。由于线性回归模型是一条直线（或超平面）拟合多个点，所以需要满足所有误差取得最小值，即所有概率的乘积最大化，符合似然函数：上式中需要找到能使得概率连乘最大化，也就是预测值与真实值无限接近。 由于连乘难解，所以需要转化成加法，取对数得：上面的式子中，第一项是确定值，而第二项是变动值，所以要使得最大，即要使得最小化，于是得到损失函数 同理，消除样本量m带来的影响， 将损失平均化，乘以一个 。 2.2 正规方程法 正规方程法有一般形式和矩阵形式。 2.2.1 一般形式 简单一元线性回归模型为：那么，损失函数如下：损失函数是关于θ和b的凸函数，当它关于θ和b的导数均为零时，得到θ和b的最优解。（关于凸函数：对区间上定义的函数f，若它对区间中任意两点均有则称 f 为区间上的凸函数。U形曲线的函数如通常是凸函数。对实数集上的函数，可通过求二阶导数来判别：若二阶导数在区间上非负，则称为凸函数；若二阶导数在区间上恒大于0，则称为严格凸函数。） 求解和b使损失函数最小化，对求偏导令，则得到：（注意：由于下面的计算过程会有双重前m项求和，避免混淆，最好将所有项，特别含b的项） 对b求偏导令，则 解得：将（2）式带入（1）式，解得（求解过程可以参考最小二乘法求导）于是，由求得的和b就可以得到接近真实值的预测值以及拟合直线. 以上是最小二乘法的一般形式解决简单的线性回归问题，如果对于复杂的多元线性回归，则使用最小二乘法的矩阵形式. 2.2.2 矩阵形式 多元线性回归是给定数据集，其中 ，。简单的一元线性回归使用一般形式，而多元线性回归比较复杂，使用矩阵形式表示清晰。为了方便讨论，我们将w和b用向量形式表示 ，同样的，数据集D表示为一个m x (d+1)矩阵X ，即将标记y也改为向量形式，表示样本到超平面的欧式距离之和为（与 类似）可参考矩阵推导：对求导，其中当为满秩矩阵令，解得

常见的损失函数

MSE也称为L2 loss： 随着预测与真实值的绝对误差的增加，均方差损失呈二次方增加。Huber Loss将L1和L2结合起来，也被称做smoothed L1 Loss。增加了一个需要额外设置的超参数 ，来控制L2和L1的连接位置。 在误差接近0的时候使用L2，使损失函数可导，梯度更加稳定；误差较大的时候用L1，可以降低outlier带来的巨大误差的影响。 二分类中，通常使用Sigmoid函数将模型的输出压缩到(0, 1)区间。给定输入 ，模型判断为正类/负类的概率：合并成一个：取对数加负号之后，得到： N是所有样本的数量。 图中曲线可以看出，当预测值越接近目标值损失越小，随着误差变差，损失呈现指数增长。 真实值 现在是一个One-hot向量，Sigmoid换成了Softmax来把输出值压缩到(0, 1)之间，所有维度的输出和为1. Softmax公式：表示K个类别中的一个，k只在对应的类别上是1，其他时候是0。 于是上式可以改写成： 是样本 的目标类。 分类问题中为什么不用MSE? 因为MSE假设了误差服从高斯分布，在分类任务下这个假设无法满足，因此效果会很差。 第二个论点是从信息论的角度来分析的，是关于由KL散度的角度来推导Cross Entropy的过程（ 原文 ） 是另一种二分类损失函数，适用于Maximum-margin的分类，SVM的损失函数就是hinge loss + L2正则化下图为，当y为正类的时候( )，不同的输出 对应的loss图当y为正类时，模型输出负值会有很大的惩罚。即使输出为正值在(0, 1)区间，也还是会有一个较小的惩罚。也就是只有置信度高的才会有零损失。使用hinge loss直觉上的理解是要找到一个决策边界，使得素有数据点被这个边界正确地，高置信度地被分类。 同时hinge loss也反应了一点，对于那些已经可以被很好分类的样本，它不再对loss产生贡献，可以让模型花更多的energy去学习难以分类的样本。 ***隐藏网址***

田口质量损失函数曲线是一条什么线

一个二次曲线的表达式。根据查询相关公开信息显示，田口博士建立了质量损失函数，以描述质量损失与质量波动之间的关系。质量损失函数L(y)的图象为一条曲线。

在某垄断竞争市场，代表性厂商的长期成本函数为LTC=5Q*Q*Q-200Q*Q+2700Q，市场的需求函数为P=2200A-100

LTC=5Q*Q*Q-200Q*Q+2700Q LAC=LTC/Q=5Q*Q-200Q+2700 LMC=dLTC/dQ=15Q*Q-400Q+2700。边际收入Mr=2200a-200Q可从需求函数中获得。在垄断竞争市场长期均衡的条件下，lac=P LMC=Mr，解为a=1，q=10，P=1200。拓展资料：一、成本函数是指在技术水平和要素价格不变的情况下，成本与产出之间的关系。成本理论主要分析成本函数。成本函数不同于成本方程。成本函数表示成本和产出之间的关系。成本方程说，成本等于投入要素价格之和。如果输入为劳动力L和资本K，价格为PL和PK，则成本方程为C=L·PL+K·PK，成本方程为恒等式，成本函数为变量为输出的函数。在统计学中，成本函数通常称为损失函数二、成本和产出之间关系的功能图形表示。从长远来看，企业的成本在数量和利用率上都在变化。生产每批产品的最低成本是长期总成本。长期总成本曲线是长期总成本函数的图形表示：三、长期总成本曲线的陡峭程度完全取决于生产函数和生产要素的价格。这条曲线显示了几个特点：首先，成本与产出直接相关。从上图可以看出，该曲线具有正的分支率，这表明总成本将随着产量的增加而增加，表明资源是有限的。其次，lrtc曲线先以逐渐减小的速率增加，然后以逐渐增大的速率增加。从上面可以看出，X产量的增量是相对的，而C成本的增量先减小后增大，即当x1x2=x2x3时，C1C2》c2c3，相反，当x4x5=x5x6jf时，c4c5》C5C6。四、在短期内，企业的总成本是固定的，如厂房和设备的折旧，有些是可变的，如原材料、人工成本等。因此，产品的短期总成本总是等于总固定成本和总可变成本之和。总短期成本曲线是总短期成本函数的图形表示。五、对应关系经济分析中的成本曲线和生产曲线具有非常工整的对应关系：1、总产量曲线和总成本曲线：随着变动要素投入量的增加，总产量先递增地增加，然后递减地增加。与此对应，随着产量的增加，总成本先递减地增加，然后递增地增加。2、边际产量曲线与边际成本曲线：随着劳动投人量的增加，边际产量先提高，后下降。与此对应，随着产量的增加，边际成本先下降，后提高。使边际产量最大的变动要素投入量，对应于边际成本最低的产量。3、平均产量曲线与平均变动成本曲线：随着劳动投入的增加，平均产量先提高，后下降。与此对应，随着产量的增加，平均变动成本先下降，后上升。使平均产量最大的变动要素投入量，对应于平均变动成本最低的产量

深度学习之损失函数与激活函数的选择

深度学习之损失函数与激活函数的选择在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。其中使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？以下是本文的内容。MSE损失+Sigmoid激活函数的问题先来看看均方差+Sigmoid的组合有什么问题。回顾下Sigmoid激活函数的表达式为： 函数图像如下： 从图上可以看出，对于Sigmoid，当z的取值越来越大后，函数曲线变得越来越平缓，意味着此时的导数σ′(z)也越来越小。同样的，当z的取值越来越小时，也有这个问题。仅仅在z取值为0附近时，导数σ′(z)的取值较大。在均方差+Sigmoid的反向传播算法中，每一层向前递推都要乘以σ′(z),得到梯度变化值。Sigmoid的这个曲线意味着在大多数时候，我们的梯度变化值很小，导致我们的W,b更新到极值的速度较慢，也就是我们的算法收敛速度较慢。那么有什么什么办法可以改进呢？交叉熵损失+Sigmoid改进收敛速度Sigmoid的函数特性导致反向传播算法收敛速度慢的问题，那么如何改进呢？换掉Sigmoid？这当然是一种选择。另一种常见的选择是用交叉熵损失函数来代替均方差损失函数。每个样本的交叉熵损失函数的形式： 其中，?为向量内积。这个形式其实很熟悉，在逻辑回归原理小结中其实我们就用到了类似的形式，只是当时我们是用最大似然估计推导出来的，而这个损失函数的学名叫交叉熵。使用了交叉熵损失函数，就能解决Sigmoid函数导数变化大多数时候反向传播算法慢的问题吗？我们来看看当使用交叉熵时，我们输出层δL的梯度情况。 对比一下均方差损失函数时在δL梯度 使用交叉熵，得到的的δl梯度表达式没有了σ′(z)，梯度为预测值和真实值的差距，这样求得的Wl,bl的梯度也不包含σ′(z)，因此避免了反向传播收敛速度慢的问题。通常情况下，如果我们使用了sigmoid激活函数，交叉熵损失函数肯定比均方差损失函数好用。对数似然损失+softmax进行分类输出在前面我们都假设输出是连续可导的值，但是如果是分类问题，那么输出是一个个的类别，那我们怎么用DNN来解决这个问题呢？DNN分类模型要求是输出层神经元输出的值在0到1之间，同时所有输出值之和为1。很明显，现有的普通DNN是无法满足这个要求的。但是我们只需要对现有的全连接DNN稍作改良，即可用于解决分类问题。在现有的DNN模型中，我们可以将输出层第i个神经元的激活函数定义为如下形式： 这个方法很简洁漂亮，仅仅只需要将输出层的激活函数从Sigmoid之类的函数转变为上式的激活函数即可。上式这个激活函数就是我们的softmax激活函数。它在分类问题中有广泛的应用。将DNN用于分类问题，在输出层用softmax激活函数也是最常见的了。对于用于分类的softmax激活函数，对应的损失函数一般都是用对数似然函数，即： 其中yk的取值为0或者1，如果某一训练样本的输出为第i类。则yi=1,其余的j≠i都有yj=0。由于每个样本只属于一个类别，所以这个对数似然函数可以简化为： 可见损失函数只和真实类别对应的输出有关，这样假设真实类别是第i类，则其他不属于第i类序号对应的神经元的梯度导数直接为0。对于真实类别第i类，它的WiL对应的梯度计算为： 可见，梯度计算也很简洁，也没有第一节说的训练速度慢的问题。当softmax输出层的反向传播计算完以后，后面的普通DNN层的反向传播计算和之前讲的普通DNN没有区别。梯度爆炸or消失与ReLU学习DNN，大家一定听说过梯度爆炸和梯度消失两个词。尤其是梯度消失，是限制DNN与深度学习的一个关键障碍，目前也没有完全攻克。什么是梯度爆炸和梯度消失呢？简单理解，就是在反向传播的算法过程中，由于我们使用了是矩阵求导的链式法则，有一大串连乘，如果连乘的数字在每层都是小于1的，则梯度越往前乘越小，导致梯度消失，而如果连乘的数字在每层都是大于1的，则梯度越往前乘越大，导致梯度爆炸。比如如下的梯度计算： 如果不巧我们的样本导致每一层的梯度都小于1，则随着反向传播算法的进行，我们的δl会随着层数越来越小，甚至接近越0，导致梯度几乎消失，进而导致前面的隐藏层的W,b参数随着迭代的进行，几乎没有大的改变，更谈不上收敛了。这个问题目前没有完美的解决办法。而对于梯度爆炸，则一般可以通过调整我们DNN模型中的初始化参数得以解决。对于无法完美解决的梯度消失问题，一个可能部分解决梯度消失问题的办法是使用ReLU（Rectified Linear Unit）激活函数，ReLU在卷积神经网络CNN中得到了广泛的应用，在CNN中梯度消失似乎不再是问题。那么它是什么样子呢？其实很简单，比我们前面提到的所有激活函数都简单，表达式为： 也就是说大于等于0则不变，小于0则激活后为0。其他激活函数DNN常用的激活函数还有：tanh这个是sigmoid的变种，表达式为： tanh激活函数和sigmoid激活函数的关系为： tanh和sigmoid对比主要的特点是它的输出落在了,这样输出可以进行标准化。同时tanh的曲线在较大时变得平坦的幅度没有sigmoid那么大，这样求梯度变化值有一些优势。当然，要说tanh一定比sigmoid好倒不一定，还是要具体问题具体分析。softplus这个其实就是sigmoid函数的原函数，表达式为： 它的导数就是sigmoid函数。softplus的函数图像和ReLU有些类似。它出现的比ReLU早，可以视为ReLU的鼻祖。 PReLU从名字就可以看出它是ReLU的变种，特点是如果未激活值小于0，不是简单粗暴的直接变为0，而是进行一定幅度的缩小。如下图。 小结上面我们对DNN损失函数和激活函数做了详细的讨论，重要的点有：1）如果使用sigmoid激活函数，则交叉熵损失函数一般肯定比均方差损失函数好；2）如果是DNN用于分类，则一般在输出层使用softmax激活函数和对数似然损失函数；3）ReLU激活函数对梯度消失问题有一定程度的解决，尤其是在CNN模型中。