阿
阿木公
V1
2022/04/10阅读:39主题:默认主题
统计学习方法习题-1
1. 统计学习方法概论
1.1 统计学习方法的三要素:模型、策略、算法。
模型:题设已经交代清楚,问题数据服从伯努利分布。即为伯努利模型
算法:对于每一个样本 ,假设 。依据对数损失函数定义,使用极大似然估计,得到:
对上述式子求对数,则:
再求导,得到:
可知, ,取得最大似然。我们来观察这个结果和对数损失函数之间的关系:
最大似然为求 最大值处 的取值。
对数损失为求 的最小值时 的取值。
符合!
使用贝叶斯估计:
我们判断 的取值,是依据后验概率最大,对于上面的式子而言,分母是不变的,且由于伯努利分布的每个样本独立,则可得:
若得知 服从的分布,则可以求出上面的式子了。
策略:按照文中说明,策略是从假设空间选择假设时依据的准则。在这里,假设空间时参数为 的伯努利模型集合。使用极大似然估计应该为似然函数最大。使用贝叶斯估计则依据后验概率最大。
1.2该题的第二部分证明其实由上面例子已经可以清楚看到。
微信公众号: 数据算法笔记
作者介绍
阿
阿木公
V1