Windows11动态磁贴替代软件大盘点 _φ(❐_❐✧ windows教程

小白也能看得懂的服务端性能测试指标及问题排查

  返回  

吴恩达深度学习(笔记+作业)·第二课·第三周 超参数调试、Batch正则化和程序框架

2021/8/21 19:39:08 浏览:

目录

一、调试处理(随机-->合适范围内)

二、Batch归一化

三、Softmax回归

四、深度学习框架

作业


一、调试处理(随机-->合适范围内)

随机:

应用大一点的mini-batch会减弱正则化的作用

 合适范围内:

 现在在说明,为什么使用对数尺的方法,越靠近1,变化的影响的越大,所以靠近1的取值应该间隔小一点,远离1的数值之间的间隔取大一点

 

 

 如何组织搜索过程:

 

 

二、Batch归一化

 

 使得隐藏单元值的均值和方差标准化,就是某一层的z有一个固定的均值和方差

 下面是在深度网络训练中的匹配:

 为什么会起作用:

 

 batch归一化做的就是它减少了这些隐藏层分布变化的数量

如果是绘制这些隐藏的单元值的分布,从2d的视角来看。即使z1、z2会改变,而的确也在改变,batch归一化能够使的z1、z2的均值和方差保持不变。即使z1和z2一直在变,batch归一化至少能够保证其均值为0,方差为1或者是由γ和βγ和β决定的值。

也就是它限制了在前层的参数更新会影响数值分布的程度。当前面参数改变了它使得后面的参数适应的程度减小了,或许你可以这样想,它减少了前层参数与后层参数之间的联系,使得网络每层都可以自己学习,稍稍独立与其他层,这将有助于加速整个网络的学习。

 batch还有一个作用,它有一个轻微的正则化的作用。

 

  

 

 三、Softmax回归

 

  

 

 

四、深度学习框架

 

 

 

作业

 

 

联系我们

如果您对我们的服务有兴趣,请及时和我们联系!

服务热线:18288888888
座机:18288888888
传真:
邮箱:888888@qq.com
地址:郑州市文化路红专路93号