杨
杨谖之
V1
2022/05/24阅读:27主题:默认主题
广义线性模型 GLM
GLM 是什么
GLM 是一种模型,或者说是建模方法,使用 GLM,可以让把现实中的问题转化为机器学习需要的形式,也就是确定自己需要的假设函数 ,从而推出推出所需的最优化目标。需要注意的是,GLM 只能对那些服从指数分布族的问题建模。
什么是指数分布族 The exponential family
指数分布族是指一类特殊的概率分布,这些分布都可以被写成
的形式。
许多常见的分布都属于指数分布族,也就是说,他们可以改写成上面这种形式。
比如,伯努利分布 :
其中,
如何使用 GLM 构建模型
GLM 模型的核心其实就是三个假设:
-
-
给定 (也就是特征),我们预测的目标是 的期望,通常情况下有 ,所以我们的假设函数就是 。 -
参数 和输入 是线性关系:
举例
线性回归的推导
如果给定 的情况下, :
所以假设函数为:
正好是线性回归的假设函数。
逻辑回归的推导
如果给定 的情况下, :
从上面的推导可得:
从而,假设函数为:
正好就是 Logistic 回归的形式!
作者介绍
杨
杨谖之
V1