cpgsmldl

V1

2023/01/08阅读:20主题:蔷薇紫

算法-阿里DMR

阿里|Deep Match to Rank Model for Personalized Click-Through Rate Prediction

标题:阿里 | Deep Match to Rank Model for Personalized Click-Through Rate Prediction

参考&推荐阅读

模型小结

业务场景:商品推荐排序阶段

DIN等模型将学习到的Sequence Embedding(用户兴趣向量)、User Profile、待排序物品特征等Concat后送入最上层的MLP进行特征交叉最终输出一个CTR预估分数,作者认为在Concat特征送入MLP进行交叉前就计算一个User和Item相关性可以降低模型的学习难度。

DMR可以看做是另一种对DIN的改进方式。文章提出了两种网络结构,Item-to-Item网络和User-to-Item网络,来描述用户和候选目标item是否匹配。

image-20230101003506412
image-20230101003506412

Item-to-Item Network

是用户行为序列中每个item的embedding, 是用户行为在序列中的位置embedding,文章通过融合行为embedding、位置embedding和target item embedding计算attention权重。

image-20230101104003294

通过softmax得到最终权重,将权重作用到每个行为embedding上,通过sum pooling的方式得到用户行为序列的向量表示。

image-20230101104208088

此外item-to-item network子网络的输出还包括target item embedding,**以及sofatmax之前各个行为embedding的attention权重和(这种单值特征的作用大么?)**。

User-to-Item Network

在计算attention的时候并不考虑target item。

一般来说,用户的兴趣会随着时间发生变化,距离现在更近的行为更能反映用户的真实兴趣。根据用户行为发生的时间为用户行为指定权重可以解决这个问题,采用attention机制,把用户行为出现的位置按时间排序后,用数字编码,当做query(这里也可以根据具体业务替换为其他重要的特征),自主地为每个行为计算attention权重。

image-20230101110227735

通过softmax得到最终的attention权重:

image-20230101110316093

将权重作用到每个行为embedding上,最后再通过sum pooling + 非线性变换的方式得到用户行为序列的向量表示。

image-20230101110551007

最后跟target item embedding 做内积运算来表示用户和目标商品的匹配程度,最终输入到MLP网络(同样的问题,这种单值特征的作用大么?)。

image-20230101112341610

引入一个辅助训练网络来帮助训练,确保点积结果越大代表用户和target item的相关性越高。在辅助训练的时候,使用行为序列中的前T-1个行为学习用户表示,而用最后一个行为作为正样本,使用负采样的方法随机获得负样本。 表示匹配分值, 表示辅助网络loss, 表示最终loss。

image-20230101113535739 image-20230101113602733 image-20230101113634465 image-20230101113657739

分类:

人工智能

标签:

深度学习

作者介绍

cpgsmldl
V1