深度学习优化算法(四)—— 参数初始化策略(Xavier/Kaiming/正交)(三十六)
1. 定位导航第 33-35 篇讨论了训练过程——但还有一个关键问题被忽略了:从哪里开始?Goodfellow 的警告:训练深度模型是一个足够困难的问题,以至于大多数算法都很大程度地受到初始化选择的影响。初始点能够决定算法是否收敛、收敛速度、最终的代价值。本篇专攻怎么挑一个好的起点。2. 初始化的两个核心目标2.1 目标 1:打破对称性完全确知的唯一特性是初始参数需要在不同单元间"破坏对称性"。什么是对称性灾难?设隐藏层 2 个单元h1,h2h_1, h_2
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2621440.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!