一文读懂Bayesian Personalized Ranking算法

作者: 汪昊 2019-03-27 09:00:00

一文读懂Bayesian Personalized Ranking算法

【51CTO.com原创稿件】就像哲学有不同的流派一样,推荐系统的算法设计思路也可以分为不同的流派。排序学习恰恰就是其中的一种流派。熟悉 RecSys 等推荐系统国际会议的从业者可能会发现,自 2010 年以后的若干年内,陆续出现了许多基于排序学习的推荐系统算法。从 Bayesian Personalized Ranking (BPR) 到后续的 Collaborative Less is More Filtering (CLiMF) 以及 GapFM 和 XCLiMF 等算法,在推荐系统领域出现了百家争鸣,百花齐放的局面。

排序学习的设计思想与协同过滤和矩阵分解以及随后出现的深度学习的主要不同在于排序学习把推荐系统看成是一个排序的问题。也就是如何给用户推荐商品的问题变成了如何在用户有可能喜欢的物品集合中对物品排序的问题。这个过程中算法不纠结于对于用户喜欢的物品的评分进行准确预测,而是把物品之间的顺序关系作为优化的目标。

排序学习的英文名称是 Learning to Rank ,根据优化目标的不同,共分为三类:基于点的排序学习 ( Point-wise Learning to Rank ) ,基于关系对的排序学习 ( Pair-wise Learning to Rank ),以及基于列表的排序学习( List-wise Learning to Rank )。基于点的排序学习本质上就是传统的分类算法,例如 SVM ,逻辑回归等都属于基于点的排序学习,这类排序学习通常被认为是排序学习的退化形式;基于关系对的排序学习强调的是物品集合中物品两两之间的关系,本章将要展开讨论的 Bayesian Personalized Ranking 算法就属于这一类算法;基于列表的排序学习强调的是物品集合中物品列表的整体排序关系,后续章节中将要展开讨论的 Collaborative Less is More Filtering 算法属于这个范畴,这类算法将物品集合中物品评分的整体排序关系作为最终的优化目标。

Bayesian Personalized Ranking 的整体思路如下:假设我们现在有 N 个视频,每个视频有两种用户行为:被用户点击,没有被用户点击。现在设定用户给物品的评分如下:被用户点击过的视频得分 +1 ,从没有被用户点击过的视频中进行采样得到一部分视频,这部分视频被认为是用户不喜欢的视频,得分 -1 。

Bayesian Personalized Ranking 首先假设用户对物品的评分背后的模型是某个常见模型,比如矩阵分解模型,也就是用户对物品的评分 R = U’ * V ,其中 U 是用户向量,而 V 是物品向量。算法假定所有得分 +1 的物品和所有得分 -1 的物品,如果用评分矩阵 R 重新对物品进行打分,原本得分 +1 的物品的新得分将高于原本得分 -1 的物品的新得分。

算法的本质诉求是在***可能的满足原有的 +1 物品得分高于 -1 物品得分的排序对成立的情况下,倒推出 R 评分分解后的 U 和 V 向量。***通过计算 U和 V 的乘积,得到用户对物品的完整评分矩阵,完成整个算法过程。下面我们详细的展开算法进行讨论:

首先定义有序关系,如果用户喜欢物品 I1 而不喜欢物品 I2 ,则存在有序关系 I1 >u I2 。定义评分矩阵为参数 theta, 建立需要被优化的贝叶斯模型。用 u 表示有序对 ( I1 , I2 ),建立***似然函数求解公式如下:,其中,而是 sigmoid 函数。这里定义的贝叶斯模型是一个一般性的框架,具体的算法模型实现由的计算方式而定。

Bayesian Personalized Ranking 优化的指标是 AUC 函数。AUC 函数在 Bayesian Personalized Ranking 问题中被归约为以下形式:

其中

采用随机梯度下降求解参数 得到:

可以看到就是用户 u 对物品 i 和物品 j 的评分之差。我们已经得到了随机梯度下降过程中的参数计算方法,在实际应用中只需要将用具体的模型替代即可,比如协同过滤,或者矩阵分解。我们给他们分别用代号 BPR-CF 和 BPR-MF 等表示。

现在假定是由矩阵分解模型计算得到的。也就是= U’V =,带入随机梯度下降公式计算可得到:

类似的,我们可以得到基于协同过滤的 BPR 的梯度下降公式。

BPR 因为是计算两两有序对之间的关系,所以在实际的计算过程中涉及到的数据量可能非常庞大。另外,在***进行评分预测时需要进行庞大的矩阵运算。通常在实际的计算过程中采取了抽样等方法来降低计算量,而不是采用全量数据进行计算。

BPR 是推荐系统中基于对的排序学习中的比较重要的一类方法,广泛应用在推荐系统的各种实践之中。

汪昊, 区块链公司科学家,美国犹他大学本科/硕士,对外经贸大学在职 MBA,在百度、新浪、网易、豆瓣等公司有超过8年的技术研发经验,曾担任恒昌利通大数据部总监。擅长机器学习、数据挖掘、计算机图形学和科学可视化等技术。在 TVCG 和 ASONAM 等国际会议和期刊发表论文 10 篇。本科毕业论文获国际会议 IEEE SMI 2008 ***论文奖。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

人工智能 AI 算法
上一篇:ACM 宣布三位深度学习之父共同获得 2018 年图灵奖 下一篇:无论你喜不喜欢,AI云运维迎面而来
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

麻省理工学院(MIT)的研究者开发出了一种新型的神经网络,其不仅能在训练阶段学习,而且还能持续不断地适应。

机器之心 ·  2021-02-21 15:47:47
规划智慧城市时,别忘了无障碍通行

要想成为一个智慧城市甚至一个智慧世界,虽然可能需要时间和有针对性的规划,但我们必须以人为本。

蒙光伟 ·  2021-02-21 10:26:41
2021关于人工智能的五大趋势

数字化变革,比过去10年更多,这主要是由于远程工作的规模,以及企业迅速部署了必要的技术,尤其是与网络安全相关的技术。那,2021关于人工智能的五大趋势会是如何的呢?

Lichu ·  2021-02-21 10:21:01
使数据中心更智能:人工智能如何发挥作用?

随着数据成为维持几乎所有业务运营以获取洞察力和业务成果的先决条件,数据中心正处于这种数字化转型的关键。

Cassie ·  2021-02-21 10:14:59
IBM拟出售Watson Health后,AI医疗还能不能碰

医疗服务仍然是一块商业上尚未被完全发掘的市场,看病难/看病贵、医疗资源紧缺、医疗资源不平均等痛点问题长期存在,对应的市场空间理应是巨大的。而Watson Health作为IBM曾寄予厚望的业务方向,为何要在此时萌生退意?它的故事给业界带来哪些启发?眼下的AI医疗市场,究竟是一副什么样的局面呢?

物联传媒 ·  2021-02-21 08:41:16
抛弃归一化,深度学习模型准确率却达到了前所未有的水平

我们知道,在传递给机器学习模型的数据中,我们需要对数据进行归一化(normalization)处理。

机器之心 ·  2021-02-20 21:09:12
华人博士生首次尝试用两个Transformer构建一个GAN

最近,CV 研究者对 transformer 产生了极大的兴趣并取得了不少突破。这表明,transformer 有可能成为计算机视觉任务(如分类、检测和分割)的强大通用模型。

Yifan Jiang ·  2021-02-20 21:04:53
无监督训练用堆叠自编码器是否落伍?ML博士对比了8个自编码器

柏林工业大学深度学习方向博士生 Tilman Krokotsch 在多项任务中对比了 8 种自编码器的性能。

Tilman Krokotsch ·  2021-02-20 20:57:16
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载