Batch Normalization批标准化是什么? | BN有啥用 | Batch Normalization是什么

   日期:2020-11-01     浏览:100    评论:0    
核心提示:今天不讲原理了,我感觉写一大堆,让大家也理解不透简要说一下:不仅仅极大提升了训练速度,收敛过程大大加快; 还能增加分类效果,一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式,所以不用Dropout也能达到相当的效果; 另外调参过程也简单多了,对于初始化要求没那么高,而且可以使用大的学习率等。在网上还找到一些比较不错的图,可以启发数据做预处理可以用 normalization 归一化 ,或者 standardization 标准化,用来将数据的不同 feature 转.

今天不讲原理了,我感觉写一大堆,让大家也理解不透

简要说一下:

  • 不仅仅极大提升了训练速度,收敛过程大大加快;
  • 还能增加分类效果,一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式,所以不用Dropout也能达到相当的效果;
  • 另外调参过程也简单多了,对于初始化要求没那么高,而且可以使用大的学习率等。

 在网上还找到一些比较不错的图,可以启发

数据做预处理
可以用 normalization 归一化 ,或者 standardization 标准化,
用来将数据的不同 feature 转换到同一范围内,
normalization 归一化 :将数据转换到 [0, 1] 之间,
standardization 标准化:转换后的数据符合标准正态分布



为什么要做归一化和标准化?

 不同的特征具有不同数量级的数据,它们对线性组合后的结果的影响所占比重就很不相同,数量级大的特征显然影响更大。

 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服