杨谖之

V1

2022/05/24阅读:14主题:默认主题

Softmax 回归

多项分布

目标值 取值只能为 中的一个,设每个取值的概率为 ,分布律为 ,参数为:

由于 ,所以

指示函数

我们称 为指示函数,括号内为一个逻辑判别式,指示函数的值就是判别式的真值。

例如:

使用 GLM 推导假设函数

由此可得:

注意:在 GLM 中,我们的预测目标是T(y),所以这里预测输出不直接是类别的编号 ,并且对每个类别,我们需要分别训练一个参数

所以,假设函数为:

似然函数的推导

假设总共m个样本:

所以 Softmax 回归的最优化问题就是:

分类:

人工智能

标签:

机器学习

作者介绍

杨谖之
V1