教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

天富娱乐注册官网平台 亚星盛世郦都?

更新时间:2022年03月03日13时59分 来源:传智教育 浏览次数:

亚星盛世郦都

根据反向传播算法和链式法则, 梯度的计算可以简化为以下公式:

其中sigmoid的导数值域是固定的, 在[0, 0.25]之间, 而一旦公式中的w也小于1, 那么通过这样的公式连乘后, 最终的梯度就会变得非常非常小, 这种现象称作梯度消失. 反之, 如果我们人为的增大w的值, 使其大于1, 那么连乘够就可能造成梯度过大, 称作梯度爆炸。

天富娱乐登录彩票

如果在训练过程中发生了梯度消失,权重无法被更新,最终导致训练失败; 梯度爆炸所带来的梯度过大,大幅度更新网络参数,在极端情况下,结果会溢出(NaN值)。



猜你喜欢:

Fast算法原理:fastica算法步骤详解

Shi-Tomasi角点检测原理和实现代码

人工智能的起源和人工智能发展历程

英伟达发布Orin系统芯片助力AI加速

传智教育Ai人工智能培训

0 分享到:
和我们在线交谈!