深度推荐系统总结(转载)

 

深度推荐系统学习总结

转载自 王喆编著《深度学习推荐系统》

模型名称 基本原理 特点 局限性
AutoRec 基于自编码器,对用户或者物品进行编码,利用自编码器的泛化能力进行推荐 单隐层神经网络结构简单,可实现快速训练和部署 表达能力较差
Deep Crossing 利用”Embedding层+多隐层+输出层”的经典深度学习框架,预完成特征的自动深度交叉 经典的深度学习推荐模型框架 利用全连接隐层进行特征交叉,针对性不强
NeuralCF 将传统的矩阵分解中用户向量和物品向量的点积操作,换成神经网络代替的互操作 表达能力加强版的矩阵分解模型 只是用了用户和物品的id特征,没有加入更多其他特征
PNN 针对不同特征域之间的交叉操作,定义“内积”,“外积”等多种积操作 在经典深度学习框架上,模型提高特征交叉能力 “外积”操作进行了近似化,一定程度影响了其表达能力
Wide&Deep 利用Wide部分的模型“记忆能力”,利用Deep部分的模型“泛化能力” 开创了组合模型的构造方法,对深度学习推荐模型的后续发展产生重大影响 Wide部分需要人工进行特征组合的筛选
Deep&Cross 用Cross网络替代Wide&Deep模型中的Wide部分 解决了Wide&Deep模型人工特征组合问题 Cross网络复杂度较高
FNN 利用FM的参数来初始化深度神经网络的Embedding参数 利用FM初始化参数,加快整个网络的收敛速度 模型的主结构比较简单,没有针对性的特征交叉层
DeepFM 在Wide&Deep的基础上,用FM替代了原来的线性Wide部分 加强了Wide部分的特征交叉能力 与经典的Wide&Deep模型相比,结构差别不明显
NFM 用神经网络代替FM中二阶隐向量交叉的操作 相比FM,NFM的表达能力和特征交叉能力更强 与PNN模型的结构非常相似
AFM 在FM的基础上,在二阶隐向量交叉的基础上对每个交叉结果加入了注意力得分,并使用注意力网络学习注意力得分 不同交叉特征的重要性不同 注意力网络的训练过程比较复杂
DIN 在传统深度学习模型的基础上引入注意力机制,并利用用户历史物品和目标广告物品的相关性计算注意力得分 根据目标广告物品的不同,进行更有针对性的推荐 并没有充分利用除“历史行为”以外的其他特征
DIEN 将序列模型与深度推荐模型结合,使用序列模型模拟用户的兴趣进化过程 序列模型增强了系统对用户兴趣变迁的表达能力,使用推荐系统开始考虑时间相关的行为序列中包含的有价值信息 序列模型训练复杂,线上服务延迟较长,需要进行工程上的优化
DRN 将强化学习的思路应用于推荐系统,进行推荐模型的线上实时学习和更新 模型对数据的实时性的利用能力大大增强 线上部分较复杂,工程实现难度较大