基于文本增强的共注意机制的多模态标签推荐.pdf

第 卷第期陕西师范大学学报(自然科学版)V o l N o 年月J o u r n a l o fS h a a n x iN o r m a lU n i v e r s i t y(N a t u r a lS c i e n c eE d i t i o n)S e p,人工智能专题(主持人:谢娟英)引用格式:冯皓楠,何智勇,马良荔基于文本增强的共注意机制的多模态标签推荐J陕西师范大学学报(自然科学版),():F E N G H N,HEZY,MA LL M u l t i m o d a l l a b e lr e c o mm e n d a t i o nb a s e do nt e x t e n h a n c e dc o a t t e n t i o nm e c h a n i s mJ J o u r n a lo fS h a a n x iN o r m a lU n i v e r s i t y(N a t u r a lS c i e n c eE d i t i o n),():D O I:/j c n k i j s n u 收稿日期:基金项目:十三五预研项目()通信作者:马良荔,女,教授,博士生导师,主要从事系统结构、系统可靠性等方面研究.E m a i l:m a l i a n g l c o m基于文本增强的共注意机制的多模态标签推荐冯皓楠,何智勇,马良荔(海军工程大学 电子工程学院,湖北 武汉 )摘要:针对新型社交平台用户发布帖子时通常会使用标签来标记帖子的关键词或话题来提高自己在社交媒体中参与度的问题,使用了层级结构,从单词、短语和句子三个层级来提取文本特征.并且提出文本内容的汇总注意机制,将每个层级的语义内容总结为一个特征向量,然后提出一个文本增强的共注意模型,将每个层级的语义分别与图像模态进行语义融合.同时,考虑到不同用户使用标签的偏好习惯等各不相同,引入一个外部存储单元来记录每个用户的历史标签习惯,计算当前待推荐帖子与历史帖子之间的相似度影响向量,建立用户的个性化模块.在真实数据集上的实验结果表明,文中基于多模态帖子内容理解和个性化模块分析模型相比与其他模型,在精确率、召回率和F分数上都有很大提升;提出的两个关于多模态内容理解的注意力机制和用户的个性化建模都对整体推荐效果有显著的贡献.关键词:文本层级建模;共注意机制;文本注意机制;多模态推荐;个性化推荐中图分类号:T P 文献标志码:A文章编号:()M u l t i m o d a l l a b e l r e c o mm e n d a t i o nb a s e do nt e x t e n h a n c e dc o a t t e n t i o nm e c h a n i s mF E NG H a o n a n,HEZ h i y o n g,MAL i a n g l i(S c h o o l o fE l e c t r o n i cE n g i n e e r i n g,N a v a lU n i v e r s i t yo fE n g i n e e r i n g,Wu h a n ,H u b e i,C h i n a)A b s t r a c t:I nn e ws o c i a l p l a t f o r m s,u s e r su s u a l l yu s eh a s h t a g st om a r kt h ek e y w o r d so r t o p i c so ft h ep o s t sw h e np o s t i n gp o s t s,w h i c h w i l li n c r e a s et h e i rp a r t i c i p a t i o ni ns o c i a lm e d i a I nt h i sa r t i c l e,c o n s i d e r i n gt h a t t h e t e x to f t h eu s e r sp o s t c a nb e t t e r e x p r e s s t h eu s e r so w nt h o u g h t s,ah i e r a r c h i c a l s t r u c t u r e i su s e d t oe x t r a c t t e x t f e a t u r e s f r o mt h e t h r e e l e v e l so fw o r d s,p h r a s e s,a n ds e n t e n c e s,a n dp r o p o s eas u mm a r ya t t e n t i o n m e c h a n i s mf o rt h et e x tc o n t e n t T h es e m a n t i cc o n t e n to fe a c hl e v e li ss u mm a r i z e da saf e a t u r ev e c t o r,a n dt h e nat e x t e n h a n c e dc o mm o na t t e n t i o nm o d e l i sp r o p o s e dt om e r g et h es e m a n t i c so fe a c hl e v e lw i t ht h ei m a g em o d a l A tt h es a m et i m e,c o n s i d e r i n gt h a td i f f e r e n tu s e r sh a v ed i f f e r e n th a s h t a gp r e f e r e n c e s,a ne x t e r n a ls t o r a g eu n i ti si n t r o d u c et or e c o r dt h eh i s t o r i c a lh a s h t a gh a b i t so fe a c hu s e r,c a l c u l a t et h e第期冯皓楠 等:基于文本增强的共注意机制的多模态标签推荐 s i m i l a r i t y i n f l u e n c ev e c t o rb e t w e e nt h ec u r r e n tp o s tt ob er e c o mm e n d e da n dt h eh i s t o r i c a lp o s t,a n de s t a b l i s ht h eu s e rp e r s o n a l i z e d m o d u l e T h eo v e r a l lh a s h t a gr e c o mm e n d a t i o nr e s u l t sa r eg e n e r a t e db a s e do nt h ea n a l y s i so f m u l t i m o d a lp o s tc o n t e n tu n d e r s t a n d i n ga n dp e r s o n a l i z e dm o d u l e s E x p e r i m e n t a l r e s u l t so nr e a l d a t as e t ss h o wt h a to u rm o d e l h a sag r e a t i m p r o v e m e n t i na c c u r a c y,r e c a l la n dFs c o r ec o m p a r e dw i t ho t h e rm o d e l s,t h et w oa t t e n t i o n m e c h a n i s m sf o rm u l t i m o d a l c o n t e n t u n d e r s t a n d i n ga n d t h eu s e r sp e r s o n a l i z e dm o d e l i n gp r o p o s e d i n t h i sp a p e r a l lc o n t r i b u t es i g n i f i c a n t l yt ot h eo v e r a l l r e c o mm e n d a t i o ne f f e c t K e y w o r d s:t e x th i e r a r c h i c a lm o d e l i n g;c o a t t e n t i o n m e c h a n i s m;t e x ta t t e n t i o n m e c h a n i s m;m u l t i m o d a lr e c o m m e n d a t i o n;p e r s o n a l i z e d r e c o m m e n d a t i o n社交网络是产生于大数据时代的一类重要的互联网应用,新型社交媒体平台(如T w i t t e r、I n s t a g r a m、微博等)已经快速发展成为影响力广泛的新媒体平台.在此平台上,用户可以通过上传简短的文字和图片来记录生活或表达情感并将其分享给好友.此类社交平台还包含一种特定形式的元数据标签(h a s h t a g),它是一串以“”为前缀的字符,用于标记博文中的关键字或主题,标签在方便用户与其他人进行互动的同时也可以增强帖子的话题度.例如,在I n s t a g r a m上,有至少一个标签的帖子比没有任何标签的帖子的用户参与度高出 .同时,h a s h t a g已经被证明在许多任务中都是十分有帮助的,包括情感分析、信息检索和主题提取等.为了方便平台对标签的维护与管理,防止用户随意给博文添加标签造成海量标签数据冗余,在社交媒体平台上进行标签推荐是十分必要的.在一篇博文的文本和图片的多模态信息中,文本模态占有主导地位,包含了用户想要表达的意思的主要描述信息,这也是许多标签推荐任务只使用文本内容进行推荐的原因,但同时图片模态中也包含了细微的附加信息.所以在对帖子的内容进行建模时,要更注重分析文本模态的信息,全面提取文本的语义信息.并且,图像和文本的相关性建模以及两者之间的交互作用对于更好地了解帖子的语义信息也至关重要,而这也会影响标签推荐的性能.另外,由于马太效应的影响,多数用户的喜好会在多次迭代后逐渐成为所有用户的“喜好”,导致推荐结果可能丧失了对不同用户的个性化推荐,所以根据用户的特有属性(历史行为、相关偏好等)来给用户推荐可能感兴趣的标签也是本文的研究重点.由于年龄、性别等社会背景的影响,不同用户对相似的多模态内容可能有不同的想法与观点.换言之,面对同一个话题的讨论,不同的用户可能偏好使用不同的标签,这使得个人偏好是标签推荐任务中非常大的影响因素.图展示了I n s t a g r a m的一个示例,文本中提到的b u n n y只在图片中占了很小的一部分,但是标签中却有e a s t e r b u n n y,表明文本中常常会指出在图片中占比不重、但用户却十分关心的事物,所以对文本模态的着重分析和对用户的个性化建模十分有必要.同时,图片和文本中都能找到对标签d o g的描述和只能从图片中找到对标签f l o w e r的描述,这也证明了图片模态对此任务也有一定作用.图 I n s t a g r a m的一个示例F i g A ne x a m p l eo f I n s t a g r a m为了给新型社交媒体平台设计一种完整而有效的标签推荐方法,本文提出一个文本增强的共注意机制个性化标签推荐模型,该模型可以同时考虑到帖子中不同模态的信息和不同用户的个性化信息.相关工作近年来,有许多基于文本内容进行标签推荐的研究,随着B E R T在自然语言处理方面的成功,K a v i a n i等将其应用于生成博文文本的嵌入向量中.Z h a n g等注意到标签只与博文图像的特定区域相关.因此,他们提出了一个联合注意网络,结合文本和视觉信息来推荐标签.该网络能够同时利用图片和文本信息作为多模态特征,通过注意力机制融合图片注意力和文本注意力,产生图片注意力时,陕西师范大学学报(自然科学版)第 卷利用文本信息来进行指导;产生文本注意力时,利用图片信息进行指导,以达到提升精度的目的.这个方法明显的优点在于可以考虑到不同模态的数据信息.张素威提出了一个基于异质注意力的图文融合标签推荐模型,既强化了跨模态的共性信息,也考虑了不同模态差异信息间的互补性.M a等也提出了共注意记忆网络(C o A MN),合并标签的历史博文来表示这些标签,C o A MN的结果优于基于分类的方法.P e n g等提出了自适应神经记忆网络,使用卷积层编码博文,使用递归神经网络编码标签,并对用户过去的推文历史进行建模.K o u等 结合内容相似度、与使用相似标签的用户的协同过滤和话题兴趣个特征的权重推荐标签.J a v a r i等 从不同角度研究了话题标签推荐,建立了一个基于图表的具有代表性的用户和标签模型,利用神经网络协同过滤方法广义矩阵分解,将具有代表性的用户和标签投影到潜在空间中,并且设置一个关注权重来优化矩阵.Z h a n g等 将图像、文本以及用户习惯的影响集成到一个单一模型进行标签推荐.A l s i n i等 概述了社区检测算法,这些算法用于对志同道合的用户进行分组.文献 研究了基于标签使用、话题、关注者和提及率的种关系对社区话题标签推荐绩效的影响,发现社会关系水平会影响话题标签推荐的效果.模型本文将任务定义为多标签分类问题.考虑到社交媒体平台数据的特殊性,我们首先提取帖子多模态内容的语义信息,采用层级结构从单词、短语和句子个层次提取文本特征信息,再将每个层次的特征信息都通过文本汇总注意机制汇总为一个语义特征向量,然后将每个层级的语义特征向量与提取的图像特征向量融合,即文本增强的共注意机制.使用多层感知器(m u l t i l a y e rp e r c e p t r o n,ML P)递归编码这个层次的共注意特征,得到总的多模态内容的语义特征向量.另外,用户的个性化推荐模块中外部存储单元使用用户i d进行索引,在用户的历史记录中随机采样一部分存储在外部存储单元.计算历史帖子与待推荐帖子之间的相似度影响向量.连接个模块的输出向量可得全部的特征向量.进行归一化操作后,就可 预 测 出 模 型 推 荐 的 标 签.总 体 模 型 如 图所示.图模型总体结构F i g T h eo v e r a l l s t r u c t u r eo f t h em o d e l 博文内容的特征提取首先,对帖子的多模态内容进行建模.由于帖子内容中文本起主导作用,为了全面提取文本的语义信息,本文使用层次建模结构对文本的特征进行提取,即在个层次上处理文本:单词层次、短语层次和句子层次,可以更聚焦于文本所表达的内容.在每个层次都通过注意力机制将文本内容汇总为一个语义特征向量,称之为文本内容的汇总注意机制T e A.例如,在单词层次上,将每个单词变成一个嵌入向量qi,得到Qwqw,qw,qwN,其中N为文本的最大长度.同理,qpt和qRt分别表示为t位置的短语嵌入和文本嵌入.层级结构的具体特征提取过程如图所示.图文本层次特征提取F i g T e x th i e r a r c h i c a l f e a t u r e e x t r a c t i o n为了计算短语特征,对单词嵌入向量进行一维卷积,在每个词的位置用一字、两字和三字种窗口大小的滤波器来计算单词向量的内积.对于第t个单词,其窗口大小为s的卷积输出为qps,tt a n h(Wscqwt:ts),()式中Wsc为权重参数,s,.单词级别的特征Qw在输入二元和三元语言模型卷积之前被适当地填充,以保持卷积后序列的长度.在得到卷积结果后,在每个单词位置的不同多元语言模型上应用最大池化方法来获得短语级特征qpt m a x(qp,t,qp,t,qp,t),()式中t,N.再使用池化方法在每个时间步自适应地选择不同的语法特征,同时保持原始序第期冯皓楠 等:基于文本增强的共注意机制的多模态标签推荐 列的长度和顺序.最后,使 用 一 个 长 短 期 记 忆 网 络(l o n ga n ds h o r t t e r m m e m o r yn e t w o r k,L S TM)在最大池化之后编码短语级特征qpt,其中t时刻L S TM的隐藏向量是它对应的句子级特征qst.对图像建模时,使用预先训练的VG G 网络.通过保留图片区域特征向量来构造图像的多个特征向量.因为VG G 的最后一个池化层是 张量,对应个区域,每个区域都由一个 维向量表示.每幅图像保持M 个区域特征向量.图像的特征矩阵可以写成vv,v,vM,viRD,i,M,D .为方便起见,在VG G网络后增加了一个全连通层,将每个D维区域特征向量转换成与文本特征向量具有相同维数的新向量.因此,当vi RD时,图像特征矩阵变为vv,v,vM,i,M.文本增强的注意机制模型由于采用了与先前方法不同的建模方式,本文将文 本 汇 总 注 意 机 制(T e A)应 用 于 共 注 意 机制(C o A)中,即将文本输入变成了种不同层级的文本特征,并且在每个层级上与图像的注意力进行语义融合,称之为文本增强的机制(C o A t t)模型.模型简略为个步骤(如图所示):)在每个层级使用T e A模型将文本内容汇总为单个向量s;)根据文本汇总表示s引导图像注意;)根据对应区域的图像特征引导文本注意.图文本增强的共注意机制(C o A t t)F i g T e x t e n h a n c e dc o a t t e n t i o nm e c h a n i s m文本内容在经过不同层级的特征提取后,可以通过一个文本汇总注意机制T e A将每个层级特征表示为一个特征向量.例如,单词级的文本汇总注意向量如()式所示:Htt a n h(WtQw),ats o f t m a x(WTh tHtbh t),swNtkatkQwk.()式中:WtRdd;Wh tRd;bh tR为参数;Qwk为矩阵Qw的第k列.将文本汇总为单一向量s之后,使用单层神经网络来组合s和图像特征,然后使用s o f t m a x层来生成在文本引导下的图像注意分布.公式如式()所示:hIt a n h(WvIvIWvTvT),pIs o f t m a x(WpIhIbpI).()其中:vI Rdm;vT Rd;WvI、WvT Rkd;WpIR k;bpI是参数;m;d是特征表示的维度,对应于每个区域的注意概率pIRm是m维向量.另外,使用表示图像特征矩阵和文本特征向量的组合,是将矩阵的每一列用向量连接而得.基于每个图像区域i的注意概率pi,新的图像表示为图像向量的加权和,如式()所示:vIipivi.()然后,使用新的图像表示vI引导文本的注意hTt a n h(WvIvIWTvT),pTs o f t m a x(WpThTbpT),vTipivi.()式中:vT RdT;vT Rd;WvI、WT Rkd;WpTR k;bpT是参数;T是文本最大长度;d是特征表示的维度.最后,使用多层感知器对个层级的共注意特征进行递归编码,得到总的帖子特征.如图所示.hwt a n h(Ww(qwvw),hpt a n h(Wp(qpvp),hw),hst a n h(Ws(qsvs),hp),ps o f t m a x(Whhs)()式中:Ww、Wp、Ws和Wh是权重参数;是对个向量的串联运算.图共注意特征编码F i g C o a t t e n t i o nf e a t u r e e n c o d i n g 陕西师范大学学报(自然科学版)第 卷 用户的个性化推荐第一步是随机抽取少量用户的历史帖子.首先分配一个内存单元来存储每个用户的习惯,这个内存单元可以使用用户i d进行索引,相应的标签作为外部存储.在对每个用户采样L篇历史文章及其标签时,应将L限制为相对较小的数量,因为用户可能只发布了少量的博文.第二步是学习这些历史博文中用户使用标签的习惯.用户个性化建模的主要流程如图所示.图用户个性化建模F i g U s e rp e r s o n a l i z e dm o d e l i n g采用 节中所述的方法提取历史博文的特征,通过 节中所述的方法表示帖子的特征向量为ppi|piRd,i,L.对于存储单元中的历史帖子,使用Ti表示第i个历史帖子的标签集.使用与文本特征提取相同的层级方法,首先将每一组标签Ti嵌入tiRdNt中,其中Nt为标签集的最大长度,d为标签嵌入维数,为方便设为与词嵌入维数相等.再使用T e A将每个标签集汇总为一个向量,称为历史影响向量ti.存储单元中的标签影响向量表示为t|tiRd,i,L.然后,测量当前查询博文和历史博文之间的相似度rit a n h(ppi).()式中:表示元素的乘法;ri表示当前查询帖子与第i个历史帖子的相关向量.结合所有相关向量,可得相似度矩阵rr,r,rL,进而可以计算出每个历史博文的权重ass o f t m a x(WTssbs).()式中:WsRd;bsR是参数;asRL是一个包含历史文章权重的向量.最后,影响向量tLiasiti.()实验在实验环节,实验设置为U b u n t u 、C P Ui X、G B内存、N V I D I AG e F o r c eR T X ,实验所需环境为P y t h o n 、T e n s o r F l o w 、K e r a s版本为 、N u m p y版本为 、H p y、S c i p y.数据集本实验使用文献 中从I n s t a g r a m上收集的数据集.首先,随机选择 多名用户并抓取他们所有的帖子;其次,删除一些低频的标签和单词,并保留包含图像和文本以及至少一个标签的帖子,其中少于个单词的帖子也会被删除;最后,如果用户在数据集中的文章少于 篇,删除该用户及其文章.最终的数据集包含 个用户的 条帖子,有 个独特的话题标签和 个不同的单词.实验设置模型训练使用随机梯度下降,优化函数使用A d a m优化算法,d r o p o u t设置为 ,b a t c h_s i z e设置为 ,e m b e d d i n g_s i z e设置为 ,博文文本序列的最大长度为,博文图片尺寸为 ,并使用预先训练的VG G 网络进行训练,博文标签的最大长度为,外部存储的内存大小L.数据集中随机选取 的数据作为训练集,剩下的 作为测试集.采用 的 评 价 指 标 包 括 精 度(P r e c i s i o n,记 作Pr)、召回率(R e c a l l,记作Rc)和F 分数(记作F).例如,Prk表示每个帖子推荐使用K个标签时的精度值,其中K,.这个指标的数值越高越好.对比模型C o A(C o A t t e n t i o n)是目前最先进的针对多模态帖子(包含文本和图像)的话题标签推荐方法.该模型提取帖子特征后利用协同注意机制进行跨模态融合,然后通过分类方法预测出推荐的标签.M a C o n 是一种结合了共注意力网络和用户个性化信息的多模态标签推荐方法.它采用并行协同注意的方法理解多模态帖子特征,并学习用户喜好习惯等信息以获得更好的推荐结果.实验结果从表中观察到,本文所提方法在所有个评第期冯皓楠 等:基于文本增强的共注意机制的多模态标签推荐 估指标上都明显优于其他对比模型.与C o A模型相比,当K在到之间变化时,本文方法在精度、召回率和F 分数方面分别可以提高 ,和 .与M a C o n模型相比,当K在到之间变化时,本文方法在精度、召回率和F 分数方面分别可以提高 ,和 .这些显著的改进证明了本文方法的有效性.在比较方法中,M a C o n方法比C o A方法的效果要好,这可能是由于M a C o n方法对用户进行了个性化建模,说明了对用户个性化推荐的有效性.而在同样都有用户个性化建模的本文方法和M a C o n方法中,本文方法的效果也有所提升,这主要是由于我们将文本内容进行了个层级的提取,在每个层级上都进行了文本注意汇总,并与图片特征进行了文本增强的共注意特征融合,多方位地关注了图像的各个区域.总体来说,本文提出的文本汇总注意机制和文本增强的注意机制方法在帖子内容信息的提取方面非常有效,并且用户的个性化建模也对实验结果有所帮助.表实验结果T a b E x p e r i m e n t a l r e s u l t sKC o APrRcFM a C o nPrRcF本文方法PrRcF 结语本文提出了一种文本增强的共注意机制,在社交媒体平台上进行多模态主题标签推荐任务.由于博文和图片在此任务中并不是同等重要的,文本在多模态内容中起主导作用,因此我们使用了文本层级特征提取.在每个层级都构建了文本内容汇总注意机制,以汇总文本在不同层级的语义特征.并且构建了文本增强的共注意机制,在个层级上与图片特征进行融合.同时,还加入了用户的个性化建模,对用户历史数据随机采样并存入外部存储单元,计算待推荐帖子与历史帖子的相似度影响向量.实验结果表明,在采用的个评价指标下,本文模型的性能优于现有种对比模型(C o A和M a C o n),这说明文本汇总机制中使用文本层级特征提取和在不同层级与图片特征融合的方法都对提取多模态特征起到了重要作用,同时用户的个性化模态也取得了很好的效果.参考文献:HA S AN M,A GU E,RUN D E N S T E I N E R E U s i n gh a s h t a g sa s l a b e l s f o rs u p e r v i s e dl e a r n i n go f e m o t i o n s i nt w i t t e rm e s s a g e sC/A CM S I G K D D W o r k s h o po nH e a l t hI n f o r m a t i c s N e wY o r k:A CM,H I GH F I E L DT,L E AV E RTA m e t h o d o l o g yf o rm a p p i n gI n s t a g r a m h a s h t a g sJF i r s t M o n d a y,():L I M K W,B UN T I N E WT w i t t e ro p i n i o nt o p i cm o d e l:E x t r a c t i n gp r o d u c to p i n i o n sf r o mt w e e t sb yl e v e r a g i n gh a s h t a g sa n ds e n t i m e n t l e x i c o nC/P r o c e e d i n g so ft h e r d A CM I n t e r n a t i o n a lC o n f e r e n c eo nC o n f e r e n c eo nI n f o r m a t i o na n d K n o w l e d g e M a n a g e m e n t N e w Y o r k:A CM,:D E V L I NJ,CHAN G M W,L E E K,e ta l B E R T:p r e t r a i n i n go fd e e pb i d i r e c t i o n a lt r a n s f o r m e r sf o rl a n g u a g eu n d e r s t a n d i n gE B/O L h t t p s:/a r x i v o r g/a b s/KAV I AN IM,R AHMAN IHE mH a s h:H a s h t a gR e c o mm e n d a t i o nu s i n g N e u r a l N e t w o r k b a s e d o n B E R TE m b e d d i n gC/t hI n t e r n a t i o n a lC o n f e r e n c eo nW e bR e s e a r c h(I CWR)T e h r a n:I E E E,:Z HAN GQ,WANGJW,HUAN G H R,e ta l H a s h t a gr e c o mm e n d a t i o nf o rm u l t i m o d a lm i c r o b l o gu s i n gc o a t t e n t i o nn e t w o r kC/P r o c e e d i n g so ft h eT w e n t y S i x t hI n t e r n a t i o n a l J o i n tC o n f e r e n c eo nA r t i f i c i a l I n t e l l i g e n c e C a l i f o r n i a:I n t e r n a t i o n a lJ o i n tC o n f e r e n c e so n A r t i f i c i a lI n t e l l i g e n c eO r g a n i z a t i o n,:张素威社交网络多模态内容标签推荐技术研究D南京:南京大学,陕西师范大学学报(自然科学版)第 卷Z HAN GSW R e s e a r c ho nh a s h t a gr e c o mm e n d a t i o nf o rm u l t i m o d a lc o n t e n t si ns o c i a ln e t w o r k sDN a n j i n g:N a n j i n gU n i v e r s i t y,MARF,Q I UXP,Z HAN GQ,e t a l C o a t t e n t i o nm e m o r yn e t w o r kf o rm u l t i m o d a lm i c r o b l o g sh a s h t a gr e c o m m e n d a t i o nJ I E E E T r a n s a c t i o n so n K n o w l e d g ea n dD a t aE n g i n e e r i n g,():P E N G M L,L I NYS,Z E N GLJ,e ta l M o d e l i n gt h el o n g t e r mp o s th i s t o r yf o rp e r s o n a l i z e dh a s h t a gr e c o m m e n d a t i o nC/C h i n aN a t i o n a lC o n f e r e n c eo nC o m p u t a t i o n a l L i n g u i s t i c s C h a m:S p r i n g e r I n t e r n a t i o n a l P u b l i s h i n g,:KOUFF,DUJP,YAN GCX,e ta l H a s h t a gr e c o m m e n d a t i o nb a s e do n m u l t i f e a t u r e so fm i c r o b l o g sJJ o u r n a lo fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,():J AVA R IA,HEZK,HUAN GZJ,e ta l W e a k l ys u p e r v i s e da t t e n t i o nf o rh a s h t a gr e c o mm e n d a t i o nu s i n gg r a p hd a t aC/P r o c e e d i n g so fT h e W e bC o n f e r e n c e N e wY o r k:A CM,:Z HAN GS W,YAO Y,XU F,e ta l H a s h t a gr e c o m m e n d a t i o nf o rp h o t os h a r i n gs e r v i c e sJP r o c e e d i n g so ft h e AAA I C o n f e r e n c e o n A r t i f i c i a lI n t e l l i g e n c e,:A L S I N IA,D A T T A A,HUYNH D Q,e ta l C o m m u n i t yAw a r eP e r s o n a l i z e d H a s h t a gR e c o mm e n d a t i o ni nS o c i a lN e t w o r k sC/C o mm u n i c a t i o n si nC o m p u t e ra n dI n f o r m a t i o nS c i e n c e S i n g a p o r e:S p r i n g e r,:A L S I N IA,D A T T A A,HUYNH D QO nu t i l i z i n gc o mm u n i t i e sd e t e c t e df r o ms o c i a ln e t w o r k si nh a s h t a gr e c o mm e n d a t i o nJ I E E E T r a n s a c t i o n so nC o m p u t a t i o n a lS o c i a lS y s t e m s,():L UJS,YANGJ W,B A T R A D,e ta l H i e r a r c h i c a lq u e s t i o n i m a g ec o a t t e n t i o nf o rv i s u a lq u e s t i o na n s w e r i n gE B/O L h t t p s:/a r x i v o r g/a b s/S I MO N Y A NK,Z I S S E RMA NA V e r yd e e p c o n v o l u t i o n a ln e t w o r k sf o rl a r g e s c a l ei m a g e r e c o g n i t i o nE B/O L h t t p s:/a r x i v o r g/a b s/S UKHB AA T A RS,WE S T ONJ,F E R GU SR,e ta l E n d t o e n dm e m o r yn e t w o r k sE B/O L h