基于Web的比较式挖掘研究 - 中国计算机学会中文信息技术.ppt

《基于Web的比较式挖掘研究 - 中国计算机学会中文信息技术.ppt》由会员分享，可在线阅读，更多相关《基于Web的比较式挖掘研究 - 中国计算机学会中文信息技术.ppt（25页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、基于协同图排序的对比新闻自动摘要,黄小江 万小军 肖建国北京大学计算机科学技术研究所,研究背景,比较是一种重要的认知方式优劣、趋势、规律互联网媒体的迅速发展新闻分析技术的快速进步主题检测、相关推荐,2,任务定义,比较语义两个或多个对象在某个维度上的相同/不同形式相对描述智利比海地贫困绝对描述智利是一个富裕国家海地是一个极度贫困的国家,3,任务定义,新闻话题一个种子事件或活动所有直接相关的事件和活动例：地震发生救援重建,4,任务定义,新闻话题对比相关话题奥巴马竞选活动罗姆尼竞选活动相关新闻要素筹款能力经济主张外交主张,5,任务定义,对比新闻摘要内容概括两个可比话题之间的共同点和不同点形式两部分文

2、本每部分描述一个话题两部分讨论话题中可比较的特性要求对比性、代表性、全面性、可读性,6,任务定义,对比新闻摘要,北京时间5月12日14时28分，位于北纬31度、东经103.4度的四川省汶川县发生里氏7.8级地震，造成重大人员伤亡和重大财产损失。截至13日7时，四川汶川县地震已造成四川、甘肃、陕西、重庆、云南、山西、贵州、湖北8省市共11921人遇难，倒塌房屋50余万间。至15日上午，参与救援行动的解放军和武警官兵、公安民警、干部群众和医务工作者等救援人员已从灾区抢救出伤员6万多人。,4月14日7时49分，青海省玉树藏族自治州玉树县发生7.1级地震，给当地人民群众生命财产造成严重 损失。截至北京

3、时间15日上午9时，发生在中国青海玉树的地震已经造成617人遇难，313人失踪，9110 人受伤，其中，970人伤势严重。截至17日，已调集至玉树震灾现场的各类救援人员达到15000余 人，累计搜救营救被困群众17000人。,7,基于协同图排序的摘要方法,摘要系统框架,新闻话题1,新闻话题2,预处理,句子挑选,对比性,代表性,全面性,句子排序,对比摘要,8,基于协同图排序的摘要方法,句子重要性对比性与对比话题中的其他重要句子具有强对比性，则此句子重要代表性与本话题中的其他重要句子具有强相似性，则此句子重要,9,基于协同图排序的摘要方法,句子重要性,10,基于协同图排序的摘要方法,句子关系图,1

4、1,基于协同图排序的摘要方法,话题内代表关系基于句子之间的相似度tfisf 模型,12,基于协同图排序的摘要方法,话题间对比关系对比程度讨论事件属性的相关性梅西获得了2010 年世界足球先生称号C.罗纳尔多是2009 年世界足球先生比较点（属性名）：名词/动词性比较结果（属性值）：形容词/副词/数词性,13,基于协同图排序的摘要方法,话题间对比关系保留名词、动词tfisf 模型,14,基于协同图排序的摘要方法,句子重要性,对比性,代表性,15,基于协同图排序的摘要方法,句子选择贪心算法排序值更新提升不同话题中的可比句子得分（可比性）惩罚相同话题内的相似句子得分（冗余性）,16,实验评估,数据集

5、5组英文话题,17,实验评估,数据集5组中文话题,18,实验评估,评价方法ROUGE基于候选摘要与参考摘要之间的重叠程度ROUGE-2, ROUGE-SU4M-ROUGE两部分摘要的ROUGE平均M-ROUGE-2, M-ROUGE-SU4,19,实验评估,摘要模型Manifold/M: 传统摘要，混合抽取Manifold/S: 传统摘要，分别抽取CoRank/S: 协同图计算，分别抽取CoRank/U: 协同图计算，统一抽取,20,实验评估,实验结果（英文）,21,实验评估,实验结果（中文）,22,23,北京时间5 月12 日14 时28 分, 位于北纬31 度、东经103.4度的四川省汶川

6、县发生里氏7.8 级地震, 造成重大人员伤亡和重大财产损失 。地震发生后, 9000 多名解放军和武警官兵紧急调动赶赴地震灾区参加救灾行动。中国地震局启动了一级预案, 由184 人组成的国家地震灾害紧急救援队和40 人组成的国家地震灾害现场工作队已抵达成都, 正连夜乘坐军用卡车奔赴汶川地震灾区。汶川县干部群众正奋力抗震抢险。国家民政部会同财政部向四川地震灾区紧急下拨 2 亿元中央自然灾害生活补助应急资金, 帮助地震灾区群众解决生活困难。,4 月14 日7 时49 分, 青海省玉树藏族自治州玉树县 发生7.1 级地震, 给当地人民群众生命财产造成严重 损失。另据中国地震网消息, 在7 时49 分的7.1 级地震前, 还连续发生数次4 级以上地震。地震发生后, 根据国务院的指示, 中国地震局下达了派遣地震灾害紧急救援队伍的命令, 启动地震应急救援协作联动机制, 命令国家地震灾害紧急救援 队和青海、西藏、甘肃、陕西、宁夏等地震灾害紧急救援队和现场应急工作队伍赶赴地震灾区开展抢险救援工作。玉树地震发生后, 不少单位和个人纷纷伸出援手, 为地震灾区群众捐款捐物。,结论&展望,结论利用对比性和代表性，相互增强计算重要程度摘要句抽取考虑对比性和信息冗余展望引入语义信息，计算句子之间的对比程度区分话题之间的共同点和不同点多话题、跨语言新闻对比,24,Q&A,谢谢！,25 / 76,