百题突击13: 1,为什么必须在神经网络中引入非线性? 2,ReLU在零点不可导,那么在反向传播中怎么处理? 3,ReLU的优缺点 4,BN解决了什么问题 5,BN的实现流程

琐碎记录 专栏收录该内容
40 篇文章 0 订阅

1,为什么必须在神经网络中引入非线性?
在这里插入图片描述

2,ReLU在零点不可导,那么在反向传播中怎么处理?

在这里插入图片描述

3,ReLU的优缺点

在这里插入图片描述

4,BN解决了什么问题
BN是由Google于2015年提出,这是一个深度神经网络训练的技巧,它不仅可以加快了模型的收敛速度,而且更重要的是在一定程度**缓解了深层网络中“梯度弥散”**的问题,从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几乎所有卷积神经网络的标配技巧了。

从字面意思看来Batch Normalization(简称BN)就是对每一批数据进行归一化,确实如此,对于训练中某一个batch的数据{x1,x2,…,xn},注意这个数据是可以输入也可以是网络中间的某一层输出。在BN出现之前,我们的归一化操作一般都在数据输入层,对输入的数据进行求均值以及求方差做归一化,但是BN的出现打破了这一个规定,我们可以在网络中任意一层进行归一化处理,因为我们现在所用的优化方法大多都是min-batch SGD,所以我们的归一化操作就成为Batch Normalization。

我们知道网络一旦train起来,那么参数就要发生更新,除了输入层的数据外(因为输入层数据,我们已经人为的为每个样本归一化),后面网络每一层的输入数据分布是一直在发生变化的,因为在训练的时候,前面层训练参数的更新将导致后面层输入数据分布的变化。以网络第二层为例:网络的第二层输入,是由第一层的参数和input计算得到的,而第一层的参数在整个训练过程中一直在变化,因此必然会引起后面每一层输入数据分布的改变。我们把网络中间层在训练过程中,数据分布的改变称之为:“Internal Covariate Shift”。BN的提出,就是要解决在训练过程中,中间层数据分布发生改变的情况。
5,BN的实现流程

请参考:

https://blog.csdn.net/weixin_42137700/article/details/91488889

在这里插入图片描述

在这里插入图片描述
MLR的原理是什么? 做了哪些优化?

MLR可以看做是对LR的一个自然推广,它采用分而治之的思路,用分片线性的模式来拟合高维空间的非线性分类面,其形式化表达如下:
这里面超参数分片数m可以较好地平衡模型的拟合与推广能力。
MLR算法适合于工业级的大规模稀疏数据场景问题,如广告CTR预估。
优势体现在两个方面:

  1. 端到端的非线性学习:从模型端自动挖掘数据中蕴藏的非线性模式,省去了大量的人工特征设计,这 使得MLR算法可以端到端地完成训练,在不同场景中的迁移和应用非常轻松。
  2. 稀疏性:MLR在建模时引入了L1和L2,1范数正则,可以使得最终训练出来的模型具有较高的稀疏度, 模型的学习和在线预测性能更好。
    2.3 MLR算法高级特性
  3. 结构先验。基于领域知识先验,灵活地设定空间划分与线性拟合使用的不同特征结构。例如精准定向 广告中验证有效的先验为:以user特征空间划分、以ad特征为线性拟合。
  4. 线性偏置。这个特性提供了一个较好的方法解决CTR预估问题中的bias特征,如位置、资源位等。
  5. 模型级联。MLR支持与LR模型的级联式联合训练,这有点类似于wide&deep
    learning。在我们的实践经验中,一些强feature配置成级联模式有助于提高模型的收敛性。
  6. 增量训练。实践证明,MLR通过结构先验进行pretrain,然后再增量进行全空间参数寻优训练,会获得进一步的效果提升。同时增量训练模式下模型达到收敛的步数更小,收敛更为稳定。
    MLR中使用的优化算法是从OWLQN改进过来的,主要有三个地方的变化:
    MLR使用方向导数来优化目标函数,而不是OWLQN的次梯度
    MLR对更新方向p进行了象限约束:非正定时直接用方向导数作为搜索方向,否则要进行象限约束在方向导数所在象限内。
    线性搜索的象限约束不同,当MLR参数不在零点时,line search保持在参数所在象限内搜索,在零点时,参数在方向导数约束的象限内进行line search,给定更新方向,MLR 使用了 backtracking line search方法找到合适的步长α
  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值