阿木公

V1

2022/04/10阅读:39主题:默认主题

统计学习方法习题-1

1. 统计学习方法概论

1.1 统计学习方法的三要素:模型、策略、算法。

模型:题设已经交代清楚,问题数据服从伯努利分布。即为伯努利模型

算法:对于每一个样本 ,假设 。依据对数损失函数定义,使用极大似然估计,得到:

对上述式子求对数,则:

再求导,得到:

可知, ,取得最大似然。我们来观察这个结果和对数损失函数之间的关系:

​ 最大似然为求 最大值处 的取值。

​ 对数损失为求 的最小值时 的取值。

​ 符合!

使用贝叶斯估计:

我们判断 的取值,是依据后验概率最大,对于上面的式子而言,分母是不变的,且由于伯努利分布的每个样本独立,则可得:

若得知 服从的分布,则可以求出上面的式子了。

策略:按照文中说明,策略是从假设空间选择假设时依据的准则。在这里,假设空间时参数为 的伯努利模型集合。使用极大似然估计应该为似然函数最大。使用贝叶斯估计则依据后验概率最大。

1.2该题的第二部分证明其实由上面例子已经可以清楚看到。

微信公众号: 数据算法笔记

分类:

人工智能

标签:

机器学习

作者介绍

阿木公
V1