1.1 统计学习方法的三要素：模型、策略、算法。

模型：题设已经交代清楚，问题数据服从伯努利分布。即为伯努利模型

算法：对于每一个样本，假设。依据对数损失函数定义，使用极大似然估计，得到：

对上述式子求对数，则：

再求导，得到：

可知，，取得最大似然。我们来观察这个结果和对数损失函数之间的关系：

最大似然为求最大值处的取值。

对数损失为求的最小值时的取值。

符合！

使用贝叶斯估计:

我们判断的取值，是依据后验概率最大，对于上面的式子而言，分母是不变的，且由于伯努利分布的每个样本独立，则可得：

若得知服从的分布，则可以求出上面的式子了。

策略：按照文中说明，策略是从假设空间选择假设时依据的准则。在这里，假设空间时参数为的伯努利模型集合。使用极大似然估计应该为似然函数最大。使用贝叶斯估计则依据后验概率最大。

1.2该题的第二部分证明其实由上面例子已经可以清楚看到。

微信公众号：数据算法笔记