论文｜从DSSM语义匹配到Google的双塔深度模型召回和广告场景中的双塔模型思考.docx

《论文｜从DSSM语义匹配到Google的双塔深度模型召回和广告场景中的双塔模型思考.docx》由会员分享，可在线阅读，更多相关《论文｜从DSSM语义匹配到Google的双塔深度模型召回和广告场景中的双塔模型思考.docx（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、论文从DSSM语义匹配到Google的双塔深度模型召回和广告场景中的双塔模型思考其中fanin、fanout$分别表示输入以及输出单元数实验比照分层预训练并没有比直接训练效果好优化算法采用的是随机梯度下降SGD训练的批大小batch-size1024前向以及反向传播经过中单个批样本迭代次数epochs20实验评估指标为NDCG同时结合t-test以及p-value进展分析使结果更严谨实验结果实验结果如下表所示9-12表示的是使用不同配置的DSSM9DSSM但没有使用wordhashing有监视训练10DSSMwordhashing有监视训练线性激活函数11DSSMwordhashing有监视训

2、练非线性激活函数12DSSMwordhashing有监视训练非线性激活函数细节上的一些优化11以及12有一些模糊看了好几遍讲明也没有看懂详细的区别在哪DSSM的变种关于DSSM有很多演变模型这里主要还是针对语义匹配模型。其主要的变种有LSTM-DSSMs:/arxiv.org/pdf/1412.6629.pdf2021年度提主要思路是将DSSM换成了LSTMCNN-DSSM:/iro.umontreal.ca/lisa/pointeurs/ir0895-he-2.pdf2021年度提出主要思路是将DSSM换成了CNNMV-DNN【2021年度提出】s:/microsoft/en-us/rese

3、arch/wp-content/uploads/2016/02/frp1159-songA.pdf另外附上两篇关于语义匹配的理论文章百度语义匹配中的技术理论s:/jiqizhixin/articles/2017-06-15-5阿里深度语义模型和在淘宝搜索中的应用s:/developer.aliyun/article/422338这里主要讲一下MV-DSSM因为MV-DSSM将DSSM应用在推荐上并获得了不错的效果。MV-DNNMulti-View-DNN结合了多个域的丰富特征使用multi-viewDNN模型构建推荐包括app、新闻、电影以及TV相比于最好的算法老用户提升49%新用户提升110

4、%。并且可以轻松的涵盖大量用户很好的解决了冷启动问题。但其使用前提是同一个主体公司下有很多APP不同APP之间的用户数据是可以相互使用的从其设计思路上讲就很容易的将该算法的使用限定在了为数不多的公司里。MV-DSSM的五点奉献使用丰富的用户特征建立了一个多用处的用户推荐系统针对基于内容的推荐提出了一种深度学习方法。并学习不同的技术扩展推荐系统结合不同领域的数据提出了Multi-ViewDNN模型建立推荐系统Multi-ViewDNN模型可以解决用户冷启动问题在四个真实的大规模数据集通过严格的实验证明所提出的推荐系统的有效性训练模型使用的数据集UserFeatures用户在Bing搜索引擎中搜索

5、的关键词以及点击的链接数据这里使用TF-IDF剔除掉不重要的词汇特征数据NewsFeatures用户在BingNews中的新闻点击数据每篇新闻选择了三局部特征新闻的标题使用lettertri-gram技术进展编码、新闻的类别数据编码为二进制的特征、新闻的命名实体词提取然后使用lettertri-gram技术进展编码AppFeatures用户在WindowsAppStore中的下载历史数据每个APP的的标题通过lettertri-gram技术进展编码以及APP的类别数据编码为二进制的特征Movie/TVFeatures用户在XBOX上的阅读数据主要利用的是标题、描绘、流派在MV-DNN中user

6、features被用来作为userview其余的特征映射到不同的view中训练时一个userfeatures中的样本以及一个其他的样本形成样本对为了到达这个训练目的使用微软公司的唯一用户ID进展关联NewsFeatures、AppFeatures、Movie/TVFeatures分别以及UserFeatures中的进展关联可以关联上的数据条数如下表所示MV-DNN里面的MV为Multi-View一般可以理解为多视角的DSSM在原始的DSSM中需要训练的有Query以及Doc这两类的embedding同时里面DNN的所有权重都是分享的而MV-DSSM他可以训练不止两类的训练数据同时里面的深度模型的参数是互相独立基于Multi-View的DSSM的参数变多了由于是多视角的训练输入的语料也变得不同自由度更大但是训练时也会变得更加困难。MV-DNN的训练经过为训练目的为