统计学习方法习题-1

1. 统计学习方法概论

1.1 统计学习方法的三要素：模型、策略、算法。

模型：题设已经交代清楚，问题数据服从伯努利分布。即为伯努利模型

算法：对于每一个样本 ，假设 。依据对数损失函数定义，使用极大似然估计，得到：

对上述式子求对数，则：

再求导，得到：

可知， ，取得最大似然。我们来观察这个结果和对数损失函数之间的关系：

​ 最大似然为求 最大值处 的取值。

​ 对数损失为求 的最小值时 的取值。

​ 符合！

使用贝叶斯估计:

我们判断 的取值，是依据后验概率最大，对于上面的式子而言，分母是不变的，且由于伯努利分布的每个样本独立，则可得：

若得知 服从的分布，则可以求出上面的式子了。

策略：按照文中说明，策略是从假设空间选择假设时依据的准则。在这里，假设空间时参数为 的伯努利模型集合。使用极大似然估计应该为似然函数最大。使用贝叶斯估计则依据后验概率最大。

1.2该题的第二部分证明其实由上面例子已经可以清楚看到。

微信公众号： 数据算法笔记