algolearn

V1

2022/01/20阅读:58主题:默认主题

平方误差损失函数和交叉熵损失函数分别适合什么场景

平方损失函数更适合输出为连续,且最后一层没有sigmoid或者softMax激活函数的网络

交叉熵损失函数更适合分类场景

假设网络最后一层输出为 ,激活函数为 ,预测的label为 ,真实标签为

平方损失函数 相对于输出层 的导数为

最后一项为激活函数的导数,当激活函数为 的时候,如果 足够大,函数的梯度会趋于饱和,也就是 的绝对值非常小,造成学习变慢

当使用交叉熵损失函数 的时候,对于输出层 的导数为

当激活函数为sigmoid的时候,

导数是线性的,不会存在学习过慢的问题

欢迎关注微信公众号(算法工程师面试那些事儿),本公众号聚焦于算法工程师面试,期待和大家一起刷leecode,刷机器学习、深度学习面试题等,共勉~

算法工程师面试那些事儿
算法工程师面试那些事儿

分类:

人工智能

标签:

深度学习

作者介绍

algolearn
V1