融合非负矩阵分解和图全变分的歌曲推荐算法

  • 时间:
  • 浏览:1
  • 来源:大发彩神在线计划—大发彩神计划怎么来的

Dobigeon, N., and Tourneret, J.-Y. 2010. Bayesian orthogonal component analysis for sparse representation. IEEE Transactions on Signal Processing 58(5):2675–2685.

其中KB∈Rne×m是图的梯度算子,ne 是图 B 中的边的条数。使用函数 F 和G 的共轭函数 F*和 G*,则等价于鞍点问題报告 :

参考文献[10]的思路与本文這個,通过 Tikhonov 正则化将图的信息引入到模型中,這個通过 Dirichlet 能量项1/2∑i∑i’~ iωAii’‖Ai-Ai’22然而這個 最好的土法子有有助于于了A 的列之间平滑的变化,而本文的最好的土法子图的 TV 项的惩罚则有有助于于了在列 Ai 和 Ai间具有潜在的突变边缘的分段恒定信号。这对于并能 寻找多个类别的任务是有益的,這個聚类,肯能本文中的推荐系统所涉及的這個歌单属于不同的目录的情况汇报。

表3-1 所有模型对不這個别的类别查询准确度

假设当我们歌词 歌词 有n个歌单,每个列表都涵盖m首歌中的其中一帕累托图。当我们歌词 歌词 定义矩阵C∈{0,1}n×m,矩阵中的元素 Cij 为 1 则表示歌单 i 中涵盖歌曲 j,却说为 0。当我们歌词 歌词 再定义哪几个 多权重矩阵Ω∈{0,1}n×m,当输入的 Cij 肯能为 1 时,Ωij=1,却说等于哪几个 多很小的值 ε(当我们歌词 歌词 使用的 ε=0.1)。这里应用了不明确反馈问題报告 的思路。在矩阵 C 中哪几个 多元素为 0 不代表这首歌与這個 歌单无关,统统我更肯能不相关。

Vassilis Kalofolias,

Casella, G. 1501. Empirical Bayes Gibbs sampling. Bio-statistics 2(4):485–1150.

图1-1 当我们歌词 歌词 的播放清单推荐系统形状

模型的结果,即不同模型的歌单分类准确率和 MPR 当我们歌词 歌词 列在表 3-1 和表 3-2 中。如当我们歌词 歌词 所预料的,对于随机查询,所有的模型不是能根据输入的歌曲返回歌单,却说使用了协同滤波一起非要 若果图信息的 NMF 表现很差。这可不并能 理解为是数据集的稀疏性造成的,数据集每行只涵盖 5-20 个非零元素,稀疏度非要 0.11-0.46%。协同过滤模型在有很多的观察到的等级时的表现越好,cosine 模型在类别准确率上表现更好,肯能它直接使用了输入歌曲和歌单之间的余弦距离。然而,它的 MPR 说明即使情况汇报很复杂性,当我们歌词 歌词 的模型在歌曲推荐时表现的更好。

         Y1K+1 = proxσ1F(Y1K+ σ1ABK)                  (7)

其中 cat 表示歌单的标签,Ci是矩阵 C 的第 i 行simcos(p,q)=

Bach, F.; Jenatton, R.; Mairal, J.; and Obozinski, G. 2012. Optimization with sparsity-inducing penalties. Foundations and Trends in Machine Learning 4(1):1–106.

crec=arecB                                (11)

            ωAii’1δcat{i}=cat{i’}2simcos(Ci,Ci’)

本文正式地形式化哪几个 多全新的的歌曲推荐算法,其将歌曲推荐的问題报告 转化为矩阵补全的问題报告 来考虑,并通过基于非负矩阵分解(non-negative matrix factorization, NMF)的协同过滤算法以及图上的结合图的全变分(total variation, TV)的基于内容的过滤最好的土法子相结合来补救這個 问題报告 。相关的图通过使用音频、元数据以及社交形状等宽裕的信息的结合,对歌单的邻接信息以及歌曲的這個度信息进行编码。当我们歌词 歌词 证明,当我们歌词 歌词 提出的這個 融合了几种知名的最好的土法子的混合推荐系统,有着广阔的应用前景,并在效果上超过融合的相关算法。通过在真实数据上进行的实验,当我们歌词 歌词 证实了当我们歌词 歌词 的模型能仅仅根据低秩矩阵的信息肯能基于图的信息以及两者的结合进行歌曲的推荐。

当我们歌词 歌词 模型中使用的第哪几个图是歌曲的這個度图。歌曲的图由从音频信号中抽取的 Echonest 形状与元数据信息结合以及音轨的社会信息混合组成。表 2-1 给出了用于构建歌曲图所使用到的形状。

Goldberg, K.; Roeder, T.; Gupta, D.; and Perkins, C. 1501. Eigentaste: A constant time collaborative filtering algorithm. Information Retrieval 4(2):133–151.

l  设计并实现了哪几个 多数学上的融合协同过滤以及内容过滤的声音混合系统;

Xavier Bresson and Pierre Vandergheynst

              (1)

当我们歌词 歌词 通过人工的在我很多 的歌单类别中进行查询的最好的土法子来构建验证集中的歌单。对于每个类别,当我们歌词 歌词 在之前 肯能在用户创建的标注了类别的歌单中老出的歌曲中随机的挑选 s=3 首歌。

F(AB)=KL(Ω∘(C‖AB)) =(−ΩijCij(log)+Ωij(AB)ij        (3)

l  哪几个 多良好定义的基于近端分裂最好的土法子的迭代优化模式。

这里crec并不是二元的,统统我哪几个 多连续的值,表示歌的排名。

给定统统歌曲 cin,当我们歌词 歌词 先通过补救哪几个 多正则最小平方问題报告 来在歌单的低秩空间学习哪几个 多好的表示:ain=arg min a∈R1×r||Ωin。(cin-aB)||22+ε||a||22。其解析解ain=(BTΩinB+εI)-1(BTΩincin)当 r 很小时较容易计算(当我们歌词 歌词 令ε = 0.01)。

与给定的歌单有這個表示的歌单也对于当我们歌词 歌词 推荐歌单有益。统统在低维空间中,当我们歌词 歌词 用加权和arecni=1ωiAini=1ωi来表示被推荐的歌单。这里权重ωi=e-||ain-Ai||22/σ2, 取 决 于 与 其 他 歌 单 的 表 示 的 距 离ain, 且 σ =mean({||ain-Ai||2}ni=1)/4。最终推荐歌单的低秩表示为:

James, I. M. 1976. The topology of Stiefel manifolds, volume 24. Cambridge University Press.

Swiss Federal Institute of Technology (EPFL)

‖A‖TVA= ∑i∑i’~ iωAii’‖Ai-Ai’1统统当哪几个 多歌单 i 和 i'是這個的,非要 它们在图中则是连通的,且连接這個 哪几个 多歌单的边的权值ωAii’很大(这里ωAii’≈ 1)。另外,相应的低维向量表示(Ai,Ai)间的距离过大就会被惩罚,这使得在低维空间中,(Ai,Ai)的距离会保持较近。同理,每首歌 j 都由矩阵 B 中的一列 Bj 表示到哪几个 多低维空间。肯能两首歌(j,j’)很接近(ωBii’′≈ 1),非要 (Bj,Bj)以及图的正则化‖B‖则遵循上述的规律。

pTq/||p||.||q||是哪几个 多歌单的歌曲向量之间的余弦這個度距离。余弦這個度为两首歌這個的比例比上哪几个 多歌单长度乘积的均方根。哪几个 多正的参数Υ1和Υ2满足Υ1 + Υ2 = 1,用于决定歌单标签的這個度和歌单元素级别的這個度之间的相对重要程度。为了控制每个分类的边缘概率密度并我愿意们的模型更灵活,当我们歌词 歌词 在同哪几个 多分类的节点之间保留 20%的边的哪几个 多子集。在实验中当我们歌词 歌词 发现,令Υ2 = 0.3能获得较好的效果。 歌单图的效果通过使用标准 Louvain 最好的土法子对图进行分割进行衡量。分块的数目由在模块最大的地方切开形成的模块化系数的树图自动给出。第 4 节使用的图的模块化系数在使用只余弦這個度(Υ2 = 0)时为 0.63。肯能当我们歌词 歌词 加入元数据的信息,将每个分类下所有歌单对中的 20%进行连接,并令Υ2 = 0.3,则模块化系数增长到 0.82。

关键字:推荐系统,图,非负矩阵分解,全变分,音频形状

表3-2 所有模型对不這個别的查询的平均准确度排名(MPR)

Stiefel, E.1 1935. Richtungsfelder und fernparallelismus in n-dimensionalen mannigfaltigkeiten. Commentarii Mathematici Helvetici 8(1):1505–353.

当我们歌词 歌词 先将当我们歌词 歌词 的模型与哪几个 多只基于图的最好的土法子(当我们歌词 歌词 称为 Cosine only)进行比较。对于给定输入,這個 模型使用余弦這個度计算 t 个最接近的歌单(这里 t=150),通过将歌单中的所有歌曲用余弦這個度进行加权从而计算出哪几个 多柱状图进行推荐,如式(11)所示。第哪几个模型是使用了 KL 散度的 NMF,当我们歌词 歌词 成为 NMF。最后哪几个 多模型 GNMF 是基于使用了 Tikhonov 正则化的 KL 散度,并应用了当我们歌词 歌词 模型中的图。

Todeschini, A.; Caron, F.; and Chavent, M. 2013. Probabilistic low-rank matrix completion with adaptive spectral regularization algorithms. In Advances in Neural Information Processing Systems, 845–853.

在 Netflix上推荐电影,在Facebook上推荐好友,肯能在LinkedIn上推荐工作等任务在过去几年中吸引了很多的关注。大帕累托图Netflix奖的获得者喜爱用的著名的低秩矩阵分解算法并能 明确的用户评级作为输入。统统统统這個的最好的土法子则通过用户对物品的操作来反映用户对物品的偏好,以致力于补救用户的不明确的反馈问題报告 。具体到歌曲和歌单推荐问題报告 ,也肯能有了各种不同的最好的土法子,其中既有单纯的基于内容的最好的土法子,不是各种混合的模型。最近,图的正则化被提出,用来提高矩阵补全算法的效果。

本文的主要贡献在以下哪几个方面:

Lim, Y. J., and Teh, Y. W. 1507. Variational Bayesian approach to movie rating prediction. In Proceedings of KDD Cup and Workshop, volume 7, 15–21. Citeseer.

Mazumder, R.; Hastie, T.; and Tibshirani, R. 2010. Spectral regularization algorithms for learning large incomplete matrices. Journal of Machine Learning Research 11:2287– 2322.

Kirell Benzi,

其中 prox 是最近算子,(∙)+ = max(∙, 0)。在当我们歌词 歌词 的问題报告 中,当我们歌词 歌词 挑选了标准Arrow-Hurwicz 时间间隔σ11 = 1⁄‖A‖,σ2 =τ2 = 1⁄‖K‖,其中‖∙‖是算子范数。

Hoff, P. D. 1509. Simulation of the matrix Bingham–von Mises–Fisher distribution, with applications to multivariate and relational data. Journal of Computational and Graphical Statistics 18(2).

在这帕累托图,当我们歌词 歌词 通过在哪几个 多真实数据集上进行实验,将当我们歌词 歌词 的模型与统统 哪几个不同的推荐系统进行比较。当我们歌词 歌词 的测试数据集是从由 McFee 等构建 的 Art of the Mix 语料库中抽取的。当我们歌词 歌词 之前 统统我在這個 数据库中抽取了上述的形状。 评价哪几个 多音乐推荐系统是哪几个 多众所周知的问題报告 。在本文中,当我们歌词 歌词 使用哪几个 多经典的评价使用间接反馈的推荐系统的模型的最好的土法子,Mean percentage Ranking(MPR)以及歌单分类准确度,即在查询的分类中,过去肯能老出过的歌单中的歌曲的百分比。

                 (4)

摘  要

当我们歌词 歌词 用 3 种不同的查询来测试当我们歌词 歌词 的模型。在所有 3 种查询中,哪几个 多查询ctest涵盖 s=3 首歌作为输入,系统以哪几个 多歌单的形式返回最相近的 k=150 首歌作为输出。第两种查询为随机查询,从所有类别的歌中随机挑选歌曲,其结果仅作为比较的基准。第二种测试查询,在测试集中的哪几个 多歌单中随机挑选 3 首歌。第两种采样查询,在哪几个 多类别下随机挑选 3 首歌。這個 查询模拟了用户通过歌曲类别查询歌单的推荐系统。

表2-1 用于生成歌曲的图的形状

迭代的最好的土法子是,当 k≥0 时:

对于矩阵 A 和 B 来说,优化问題报告 是全局非凸,却说个人凸的。哪几个 多常用的最好的土法子是固定 A 去优化 B,却说再固定 B 去优化 A,反复直到收敛。当我们歌词 歌词 这里以固定 A 而优化 B 为例来描述上述优化最好的土法子。相同的最好的土法子可不并能 在固定 B 时应用于A。当我们歌词 歌词 将上述问題报告 重新写为如下形式:

当我们歌词 歌词 使用从所有歌单中随机挑选出 70%的子集作为训练集,肯能当我们歌词 歌词 的模型不是联合凸的,初始化肯能会对系统的表现产生影响,统统当我们歌词 歌词 使用现在常用的 NNDSVD 技术来得到哪几个 多好的近似解。在当我们歌词 歌词 的所有实验中,r=15 的结果很好,这原困分析每行不是 5-20 个非零元素。最好的参数θA = 18以及θB= 1使用了网格搜索的最好的土法子。为了补救过拟合,当我们歌词 歌词 在验证集的 MPR 刚停止增长的之前 就使用提前停止的最好的土法子。

Xu, M.; Zhu, J.; and Zhang, B. 2012. Nonparametric max-margin matrix factorization for collaborative prediction. In Advances in Neural Information Processing Systems, 64–72.

则最近解为:

          (10)

在这篇论文中当我们歌词 歌词 介绍了哪几个 多新的灵活的歌曲推荐系统,這個 系统结合了歌单的协同过滤信息以及图中涵盖的歌曲這個度信息。当我们歌词 歌词 使用哪几个 多基于原始-对偶的优化模式来得到哪几个 多淬硬层 并行的、可不并能 用来补救大型数据集的算法。当我们歌词 歌词 挑选图的 TV 却说不是 Tikhonov 正则化,并通过将当我们歌词 歌词 的系统与 3 个不同的算法在真实的音乐歌单数据集上做比较,展示了当我们歌词 歌词 模型的良好的实验效果。

               (5)

Byrne, S., and Girolami, M. 2013. Geodesic Monte Carlo on embedded manifolds. Scandinavian Journal of Statistics 40(4):825–845.

其中

Signal Processing Laboratory 2 (LTS2),

Fazel, M. 1502. Matrix rank minimization with applications. Ph.D. Dissertation, Stanford University.

代码参见:https://github.com/hxsylzpf/recog

Hastie, T.; Mazumder, R.; Lee, J.; and Zadeh, R. 2014. Matrix completion and low-rank SVD via fast alternating least squares. arXiv preprint arXiv:1410.2596.

F(AB) + G(KBB)                     (2)

Rennie, J. D., and Srebro, N. 1505. Fast maximum margin matrix factorization for collaborative prediction. In International Conference on Machine Learning, 713–719.

训练阶段的目标是找到哪几个 多近似的低秩表示,使AB ≈ C,其中A ∈ R+n×r,B ∈R+r×m不是非负的,且 r 很小。這個 问題报告 被称为非负矩阵分解(NMF),并引起了广泛的关注。相比统统的矩阵分解最好的土法子,NMF 肯能只使用了加性因子,并能学习到物体(本文中即为歌单)的各个帕累托图。NMF 的最好的土法子的缺点是其为 NP-hard。统统对于找到哪几个 多局部最小点来说正则化使怪怪的要的。在当我们歌词 歌词 的问題报告 中,当我们歌词 歌词 使用歌曲和歌单的图来挑选因子 A 和 B。当我们歌词 歌词 模型的公式计算如下:

其中 shrink 即为软缩减算子。注意到,同样的算法也可不并能 应用于 Tikhonov正则化,這個,通过将里面的第哪几个 多式子改为proxσ2G*(Y)=Y,就可以将‖KBB‖1替换为G(KB B) = ‖KBB‖22。在式(10)中的正则化使用的是 KL 散度的哪几个 多对称变形,却说与当我们歌词 歌词 使用的這個 最好的土法子不同的是,Tikhonov 正则化不处在解析解。统统其目标函数我很多 像当我们歌词 歌词 的一样满足哪几个 多有效的原始-对偶优化最好的土法子。当我们歌词 歌词 保留這個 非对称的 KL 模型,并称其为 GNMF,来将 TV 与 Tikhonov 正则化进行比较。

当我们歌词 歌词 通过式(1)学到矩阵 A 和 B 之前 ,当我们歌词 歌词 希望已知统统歌曲 cin 时(如图 1-1),并能推荐新的歌单 crec。当我们歌词 歌词 也希望能实现实时的推荐,于是当我们歌词 歌词 定义哪几个 多快速推荐最好的土法子如下:

其中Y1 ∈ Rn×m,Y2 ∈ Rne×r。当我们歌词 歌词 定义最近项和时间间隔 σ1,σ2,τ1,τ2:

其中(∘)代表点级别的乘法运算符,θA, θB∈R+。当我们歌词 歌词 使用哪几个 多加权 KL 散度作为 C 和 AB 之间距离的衡量,有研究表明对于不同的 NMF 设置,这比Frobenius 范式更为准确。公式中的第二项是歌单图中 A 的行的全变分,统统对其进行惩罚就提升了分段恒定信号。公式中的第三项与第二项這個,是 B 的列的全变分。最终当我们歌词 歌词 提出的模型利用了参考文献[9, 16],并利用 TV 半范式将其扩展到图。

为了提高当我们歌词 歌词 的音频形状的质量,当我们歌词 歌词 使用从 LastFm 相关标签中抽取的歌曲类型训练了哪几个 多大间隔最近邻模型(Large Margin Nearest Neighbors,LMNN)。为了抽取到真实的音乐类型,当我们歌词 歌词 使用了什么标签经过其流行度(根据 LastFm)加权的 Levenshtein 距离以及 ID3 标签中定义的音乐类型。 最终,当我们歌词 歌词 用 k 近邻(k=5)来构建歌曲的图,其中,对于 j 的 k 个最近邻中的一首歌 j’,两首歌 j 和 j’之间的边的权重ωBjj’=exp(-||xj-xj’||1/σ),参数σ是尺度参数,表示 k 个邻居之间距离的平均值。得到的图的模块化系数很高(0.64),使用 k-NN 进行非监督的准确率为 65%左右。

Marlin, B. 1504. Collaborative filtering: A machine learn- ing perspective. Ph.D. Dissertation, University of Toronto.

BK+1=(BK-τ1ATY1K+1-(KTBY2K+1)T)+                                        (9)

在当我们歌词 歌词 基于 NMF 的推荐系统中,每个歌单 i 都被矩阵 A 中的第 i 行 Ai 投影到哪几个 多低维空间。为了学习到歌单 Ai 的低秩的表示,当我们歌词 歌词 通过歌单的低秩表示,定义歌单之间成对的這個度ωAii’。当我们歌词 歌词 可不并能 从 TV 正则化项的定义中推导出,

l  介绍了哪几个 多新的图正则化项(TV),在推荐系统的背景下,其效果要优于广泛应用的 Tikhonov 正则化;

歌单的图中涵盖了歌单间成对的這個度信息。图的节点为歌单,边的权重表示了哪几个 多歌单之间的距离,当权重很大时(ωAii’ ≈ 1),表示哪几个 多歌单具有很高的這個度。在当我们歌词 歌词 的模型中,歌单图中边的权重的计算不仅与组织组织结构信息這個元数据有关,还与组织组织结构信息有关,這個歌单中的歌曲信息。当我们歌词 歌词 使用预定义好的 Art of the Mix 歌单分类来标注用户的歌单。则歌单的图中边的权重的计算定义为

Srebro, N.; Rennie, J.; and Jaakkola, T. S. 1504. Maximum-margin matrix factorization. In Advances in Neural Information Processing Systems, 1329–1336.

Y2K+1 = proxσ2G∗(Y2K+ σ2KBBK)                    (8)

Salakhutdinov, R., and Mnih, A. 1508. Bayesian probabilistic matrix factorization using MCMC. In International Conference on Machine Learning.

当我们歌词 歌词 在第 4 帕累托图会详细分析,歌曲和歌单的图的使用可不并能 显著的提升推荐效果,且 TV 项的表现要比 Tikhonov 正则化更好。

               (6)

图 3-1 测试集上每个播放清单类别的MPR

参考文献

Griffiths, T. L., and Ghahramani, Z. 2011. The Indian buffet process: An introduction and review. Journal of Machine Learning Research 12:1185–1224.

少量的实验证明当我们歌词 歌词 提出的推荐系统具有很好的表现。