杨谖之

V1

2022/05/24阅读:27主题:默认主题

广义线性模型 GLM

GLM 是什么

GLM 是一种模型,或者说是建模方法,使用 GLM,可以让把现实中的问题转化为机器学习需要的形式,也就是确定自己需要的假设函数 ,从而推出推出所需的最优化目标。需要注意的是,GLM 只能对那些服从指数分布族的问题建模。

什么是指数分布族 The exponential family

指数分布族是指一类特殊的概率分布,这些分布都可以被写成

的形式。

许多常见的分布都属于指数分布族,也就是说,他们可以改写成上面这种形式。

比如,伯努利分布

其中,

如何使用 GLM 构建模型

GLM 模型的核心其实就是三个假设:

  1. 给定 (也就是特征),我们预测的目标是 的期望,通常情况下有 ,所以我们的假设函数就是
  2. 参数 和输入 是线性关系:

举例

线性回归的推导

如果给定 的情况下,

所以假设函数为:

正好是线性回归的假设函数。

逻辑回归的推导

如果给定 的情况下,

从上面的推导可得:

从而,假设函数为:

正好就是 Logistic 回归的形式!

分类:

人工智能

标签:

机器学习

作者介绍

杨谖之
V1