搜狗知识图谱方案.pptx

《搜狗知识图谱方案.pptx》由会员分享，可在线阅读，更多相关《搜狗知识图谱方案.pptx（38页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 搜狗搜索搜狗搜索张坤张坤 自然语言文本表示自然语言文本表示普通网页音频图片 视频索引自然语言自然语言查询查询排序网页结果网页结果检索 自然语言文本表示自然语言文本表示普通网页音频图片视频索引自然语言自然语言查询查询排序网页结果网页结果检索自然语言文本表示自然语言文本表示普通网页音频图片视频自然语言自然语言查询查询丰富展现丰富展现查询翻译结果翻译推理预测统计推荐复杂查询信息翻译知识库半结构化信息抽取半结构化数据结构化数据文本数据实体对齐推理补充数据异构数据整合重要度计算实体抽取属性抽取属性值决策关系建立知立方数据本体生成系统索引生成检索系统实体识别本体库Pattern挖掘标签消岐SPARQL查

2、询语句排序推理推荐统计Query展现检索系统索引生成本体构建各类型实体挖掘、属性名称挖掘编辑系统实例构建纯文本属性、实体抽取半结构化数据抽取异构数据整合实体对齐、属性值决策、关系建立实体重要度计算推理完善数据 Wolframalpha计算知识引擎，而不是搜索引擎10万亿条的信息 Freebase6800万实体10亿的关系DBpediaWikipedia 结构化364万个条目（本体）Yago6.4亿条数据半结构化网页属性名计算和聚类属性+属性值(候选)实体+属性查询日志刘德华年龄张学友年龄($人)年龄查询日志分析查询日志分析1314数据管理和自动抽样系统网页库可视化UI系统模板库模板监控系统结构

3、化数据抓取器步步惊心新西游记电视剧主题曲插曲片尾曲歌曲歌手Step 0Step 1Step 2Step 3Step 4bdceaa bd ec d ea b c d eStep 4Step 3Step 2Step 1Step 0agglomerative(AGNES)divisive(DIANA)属性值的决策：关系建立与补齐出生日期身高实体搜索李娜实体名称实体名称知立方实体库知立方实体库按重要度排序按重要度排序0.90.80.70.61，初始化：根据实体的属性及实体间关系初始化实体的重要度2，迭代：重要度在实体关系图中传递Entity-rank vs Page-rank从原始三元组数据，推理生

4、成新的数据，建立更多的实体间的链接关系，增加知识图的边的密度，例如：entity id=“1”name=“”!entity id=“2”name=“”/entity!/property entity id=“1”name=“entity id=“1”name=“莫言莫言”entity/triple /entity!/entity/triple 莫言的作品：莫言的作品：红高粱家族 生死疲劳 白棉花推理作者=作品人物关系配偶+男性=丈夫，配偶+女性=妻子；电影演员电影的主演=演员出演了这部电影半结构化信息抽取半结构化数据结构化数据文本数据实体对齐推理补充数据异构数据整合重要度计算实体抽取属性抽取属

5、性值决策关系建立知立方数据本体生成系统索引生成检索系统实体识别本体库Pattern挖掘标签消岐SPARQL查询语句排序推理推荐统计Query展现检索系统索引生成用户输入查询词预处理语义分析查询语句生成查询纠错分词基于CFG的句法分析基于词典和CRF的分词和实体识别基于模式挖掘的属性识别基于模版匹配的SPARQL生成基于需求重要度的SPARQL排序知识库通用词典属性模式实体别名基于规则的挖掘策略网页对齐百科Sogou点击日志知识库实体实体别名自然语言查询基于字典的序列标注模型CRF实体标记实体归一美国 罗恩尼 女抢匪美国 罗恩尼女抢匪美国 乔阿吉姆罗恩尼侠盗魅影互联网问题答案库知识库打上标记后的

6、问题答案属性的表达模式去噪频繁模式挖掘标记实体和属性值1.无间道谁演的?刘德华2.谁是无间道的主演?刘德华3.让子弹飞谁演的?葛优无间道主演刘德华让子弹飞主演葛优主演的Pattern1.谁演的2.谁是的主演1.谁演的?2.谁是的主演?3.谁演的?LDA半结构化信息抽取半结构化数据结构化数据文本数据实体对齐推理补充数据异构数据整合重要度计算实体抽取属性抽取属性值决策关系建立知立方数据本体生成系统索引生成检索系统实体识别本体库Pattern挖掘标签消岐SPARQL查询语句排序推理推荐统计Query展现检索系统索引生成SPARQL解析正排正排索引索引推理展现层展现层倒排倒排索引索引SPARQL支持按

7、属性按属性筛选索引层索引层检索层检索层计算层计算层推荐预测统计排序本体本体知立方数据图检索系统半结构化信息抽取半结构化数据结构化数据文本数据实体对齐推理补充数据异构数据整合重要度计算实体抽取属性抽取属性值决策关系建立知立方数据本体生成系统索引生成检索系统实体识别本体库Pattern挖掘标签消岐SPARQL查询语句排序推理推荐统计Query展现检索系统索引生成提供知识库信息的展示载体将知识库中的信息转化为用户可消费的内容提供更加丰富的富文本信息提供文本之外的图片、列表、动画等更加丰富的展现形式提供更友好的用户交互体验更多的交互元素，如图片浏览，点击试听等能够引导用户在更短的时间获取更多的信息谢谢！Email: