超级计算中心的建设和运营模式PPT学习课件.ppt

《超级计算中心的建设和运营模式PPT学习课件.ppt》由会员分享，可在线阅读，更多相关《超级计算中心的建设和运营模式PPT学习课件.ppt（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、超级计算中心的建设和运营模式曙光信息产业(北京)有限公司2009年10月报告人：聂华建设超算中心成为国家/地区战略任务超算中心规划和建设方式云计算中心的运营服务模式探讨机遇与挑战主题7/8/20242 22024/7/87/8/20243“战略计算”一词首次出现在1995年美国为了确保核库存的性能、安全性、可靠性而实施的“加速战略计算创新（ASCI）计划”。ASCI共投资10亿美元，主要参与者有Sandia、Los Alamos、Lawrence三个国家实验室和Stanford、Chicago等五所大学，在工业界选择了IBM、Intel、SGI和Cray四个合作伙伴。ASCI计划为DOE提供了

2、5台10-100TFlops的超级计算机，其中包括我们熟悉的Intel ASCI Red、IBM ASC Purple等。20年来，美国最大的超级计算机全部部署于DOE的国家实验室。“超级计算”是美国的“国家战略”32024/7/8超级计算保障科技和技术领先超级计算保障科技和技术领先活跃的经济创造超级计算需求活跃的经济创造超级计算需求超算中心是计算能力主要载体超算中心是计算能力主要载体过去过去1818个月美国利用超级计算机获个月美国利用超级计算机获得的主要科技突破：得的主要科技突破：解密蛋白质表面结构的特殊作用，为解密蛋白质表面结构的特殊作用，为新药研制提供用力的帮助新药研制提供用力的帮助 理

3、解火焰中气体理解火焰中气体/热能热能/化学反应燃烧化学反应燃烧三者关系，促进清洁能源研究三者关系，促进清洁能源研究 高温超导材料获得一系列理论突破高温超导材料获得一系列理论突破 上述成果将对生物、制药、新能源、上述成果将对生物、制药、新能源、新材料等工业领域产生深远影响，新材料等工业领域产生深远影响，是美国未来竞争力的主要保障是美国未来竞争力的主要保障“计算科学利用先进计算能力去理计算科学利用先进计算能力去理解和解决复杂问题，是确保科学领解和解决复杂问题，是确保科学领导地位、经济竞争力和国家安全的导地位、经济竞争力和国家安全的关键。关键。”美国总统信息咨询委员会报告中国的中国的“两弹一星两弹一

4、星”、“载人航天载人航天”、科技进步、经济腾飞也、科技进步、经济腾飞也都离不都离不开开“超级计算机超级计算机”的支的支撑撑。发达国家垄断超级计算机资源发达国家垄断超级计算机资源超级计算是国家/地区核心竞争力的重要标志42024/7/87/8/20245主要国家均有由政府投资兴建营运超级计算中心主要国家均有由政府投资兴建营运超级计算中心 保障计算资源先进性保障计算资源先进性 保障计算资源使用的合理性保障计算资源使用的合理性 保障技术服务的专业性保障技术服务的专业性 韩国超算中心韩国超算中心 30万亿次万亿次 芬兰超算中心芬兰超算中心 86万亿次万亿次 美国圣地亚哥超算中心美国圣地亚哥超算中心 4

5、2万亿次万亿次美国国家超算应用中心美国国家超算应用中心 164万亿次万亿次 西班牙巴塞罗那超算中心西班牙巴塞罗那超算中心 94万亿次万亿次 美国德州超算中心美国德州超算中心 580万亿次万亿次 德国尤利希研究中心德国尤利希研究中心 1000万亿次万亿次 美国新墨西哥超算中心美国新墨西哥超算中心 170万亿次万亿次 中科院超级计算中心中科院超级计算中心 140万亿次万亿次上海超级计算中心上海超级计算中心 200万亿次万亿次 日本东京工业大学日本东京工业大学GSIC 170万亿次万亿次国内外超算中心的建设和发展52024/7/87/8/20246“超级计算机”的“中国力量”：曙光、银河、神威198

6、3年，国防科大研制成功每秒1亿次“银河”巨型机。1992年，国防科大研制成功每秒10亿次“银河II”巨型机。1995年，中科院计算所研制成功每秒25亿次MPP计算机-曙光1000。1997年，国防科大研制成功“银河III”百亿次巨型机。1999年，国家并行机工程中心研制成功每秒3840亿次的“神威I”。2004年，每秒10万亿次“曙光4000A”超级计算机研制成功，列Top500第10位，标志中国继美、日后，进入世界超算领域前列。2008年，每秒230万亿次“曙光5000A”超级计算机研制成功，再次入围全球TOP500前10名。2009年，国防科大研制成功每秒1.2千万亿次的“天河一号”，受到

7、国人瞩目。“超级计算机”在中国的发展62024/7/87/8/20247超级计算日益成为现代社会运行的基柱72024/7/87/8/20248广泛应用于汽车、飞机、船舶、钢铁、广泛应用于汽车、飞机、船舶、钢铁、石油、新能源、集成电路等众多领域。石油、新能源、集成电路等众多领域。增加材料产品率增加材料产品率 25%25%降低工程技术成本降低工程技术成本 13%30%13%30%降低人工成本降低人工成本 5%20%5%20%增加设备利用率增加设备利用率 30%60%30%60%缩短产品研发周期缩短产品研发周期 30%60%30%60%美国国家科学院工程技术委员会报告美国国家科学院工程技术委员会报告

8、超级计算日益成为现代社会运行的基柱82024/7/87/8/20249物理，化学，天文，新材料，生物医物理，化学，天文，新材料，生物医药等众多领域的药等众多领域的主要研究途径主要研究途径之一；之一；宇宙行星、微观粒子、高温高压等难宇宙行星、微观粒子、高温高压等难以实验领域进行以实验领域进行创新研究的唯一途径创新研究的唯一途径。超级计算日益成为现代社会运行的基柱92024/7/87/8/202410交易实时处理，金融模拟分析，商业交易实时处理，金融模拟分析，商业数据挖掘，物流与生产排程规划等。数据挖掘，物流与生产排程规划等。在发达国家，金融是超级计算最重要在发达国家，金融是超级计算最重要的应用领

9、域之一；美国有超过的应用领域之一；美国有超过10%10%的的超级计算机部署在各大金融机构。超级计算机部署在各大金融机构。超级计算日益成为现代社会运行的基柱102024/7/87/8/202411天气预报、传染病扩散、大型集会安天气预报、传染病扩散、大型集会安全分析、社会动力学、宏观经济学等。全分析、社会动力学、宏观经济学等。基于数学模型使用超级计算机进行数基于数学模型使用超级计算机进行数值模拟是上述领域从值模拟是上述领域从定性到定量定性到定量，获，获得更可信结果的得更可信结果的唯一手段唯一手段。超级计算日益成为现代社会运行的基柱112024/7/87/8/202412先进武器设计与测试，核物理

10、模拟，先进武器设计与测试，核物理模拟，密码情报分析，信号与图像处理等。密码情报分析，信号与图像处理等。国家安全和社会稳定的国家安全和社会稳定的重要保障重要保障。超级计算日益成为现代社会运行的基柱122024/7/87/8/202413物理化学生物医药汽车船舶飞机新型能源金融海洋工程新型材料计算模拟计算模拟理论分析理论分析观察实验观察实验计算，创造未来132024/7/87/8/202414超算中心的建设，因为技术含量高、功能强，能够承载高端的科技应用，聚集高水平的人才，必将提升超算中心所在城市地方科技实力。超级计算中心建设一般规模较大，应用可以辐射周边区域，相邻区域重复建设难度大，所以抢占超算

11、中心建设先机，争夺区域科技发展的引领地位、争取高端产业聚集对建设中心城市至关重要。高性能的超级计算中心建设，可以吸引聚集需要高性能计算平台的高端应用，提升区域科研水平，增强企业的核心竞争力，进而推动城市地方经济建设。超算中心所完成的关键性高端科研项目提升城市显示度和美誉度。具有高性能的超级计算平台，可以作为吸引、引进高端人才的硬件条件，提升城市的教育、科研水平和质量。高性能的超级计算机作为IT基础设施，可以改善区域投资环境，促进城市招商引资。超算中心建设因何成为城市争夺的热点142024/7/87/8/202415曙光50005个中科院超算分中心曙光5000A上海超算中心已完成2期、3期曙光6

12、000华南(深圳)超算中心曙光5000A成都超算中心曙光4000A甘肃超算中心已完成1期、2期曙光5000北京市计算中心互联网其他：广州超算中心、沈阳超算中心等建设规划已进行立项论证曙光机在国内超算中心中全面部署152024/7/8建设超算中心成为国家/地区战略任务超算中心规划和建设方式云计算中心的运营服务模式探讨机遇与挑战主题7/8/202416162024/7/87/8/202417第一阶段：前期调研成立筹备组本地高性能计算需求分析厂商技术方案及案例调研第二阶段：可行性研究编写项目建议书，组织评审编写可行性研究报告及评审第三阶段：立项编写项目建设方案及评审政府批准立项第四阶段：土建及选型设

13、备选型及签订合同土建招投标及施工（若有）第五阶段：安装调试机房基础设施准备超级计算机软硬件系统集成技术培训第六阶段：交付运行试运行正式交付超算中心的建设流程172024/7/87/8/202418面向教育、科研、企业以及政府等单位提供随需应变的计算资源、存储资源和软件资源技术支持服务并行编程，程序移植高性能计算相关软件的应用高性能计算系统环境的使用（作业管理系统、开发环境）高级技术咨询服务和共性技术开发并行软件、专用软件、共享或商业软件的用户定制开发提供高级数学建模、算法设计服务提供虚拟产品设计中以CAE应用（结构分析，流体分析，热分析，电磁场分析，或多场耦合分析）为核心的工程咨询服务培训服务

14、：系统技术，并行编程，计算方法，软件使用，网格计算等为高性能计算机硬件厂商、应用软件厂商提供演示体验中心、用户测试等外包服务为各类欲购置或自行搭建高性能计算平台的用户提供第三方技术咨询软件传播、交流和共享服务。超算中心的核心业务规划182024/7/87/8/202419建设超级计算中心绝不等同于购置一台高性能计算机，还需要做多方面的系统、业务建设以确保服务质量和使用效率土建、基础设施建设、改造超级计算机系统软件、应用支持人员队伍建设服务运营机制超算中心建设的“复杂性”192024/7/8商业软件资源需求举例7/8/202420序号序号 软件名称软件名称 描述描述 1 FLUENT 通用计算流

15、体力学分析软件 2 LS-DYNA 瞬态响应动力学分析软件 3 PAM-CRASH 瞬态响应动力学分析软件 4ANSYS.Multiphysics 多物理场耦合分析软件 5 NASTRAN 通用有限元分析软件 6 MARC 非线性有限元分析软件 7 FEKO 高频电磁场分析软件 8 STAR-CD 通用计算流体力学分析软件 9 CFX 通用计算流体力学分析软件 10 OPTIMUS 过程集成与优化设计软件 11 HyperWorks 有限元前后处理和优化设计软件序号序号 软件名称软件名称 描述描述 12 ABAQUS 非线性有限元分析软件 13 IDEAS 有限元分析及前后处理软件 14 IC

16、EM-CFD CFD前后处理软件 15 AI*ENVIRONMENT CAE前后处理软件 16 GAMBIT FLUENT配套前处理软件 17 MasterFEM 有限元前后处理软件 18 Medina 有限元前后处理软件 19 Oracle 数据库软件 20 GEFEP-P 汽车碰撞并行仿真软件 21 CADEM-P 汽车覆盖件冲压并行仿真软件202024/7/87/8/202421序号序号 软件名称软件名称 描述描述 1 QCHEM 量子化学计算软件 2 NWCHEM 量子化学计算软件 3GAUSSIAN 量子化学计算软件 4 MOLPRO 量子化学计算软件 5 GAMESS 量子化学计算

17、软件 6 CPMD 分子动力学从头计算程序 7 ABINIT 电子结构计算程序 8 VASP 分子动力学模拟 9 SIESTA 分子和固体的电子结构计算 10 WIEN2K 固体电子结构计算 11 ESPRESSO 分子动力学模拟序号序号 软件名称软件名称 描述描述 12 SMEAGOL 分子动力学模拟 13 NAMD 分子动力学计算程序 14 EGO 分子动力学程序 15 GROMACS 分子动力学通用软件包 16 DOCK 分子对接程序 17 BLAST 序列相似性检索程序 18 MM5中尺度数值模式的计算程序 19 GRAPES 全球和区域气象分析预报系统 20 FDS 火灾模拟程序 2

18、1 COSMOMC 天体物理计算科学软件资源需求举例212024/7/87/8/202422建设保障超算中心业务正常运行的服务和运营团队外派技术和管理人员培训学习，掌握管理与应用的相关技术。招聘高性能计算领域博、硕士研究生到中心工作，以保证超级计算中心拥有较强的技术实力，可以进行多种业务的开展。超级计算中心财务部公共关系部人力资源部技术支持部研究开发部科学计算部办公室工程计算部人员队伍建设举例222024/7/87/8/202423政府投资建设和运营服务于”长三角“地区制造业、高新技术企业以及教育科研等用户在气象预报、药物设计、生命科学、汽车、新材料、土木工程、物理、化学、航空、航天、船舶等十

19、个应用领域取得了一批重大成果全程保障ARJ支线飞机全机外形、气动阻力、气动升力的设计支持大飞机公司完成翼型、机翼、翼身组合体、发动机吊挂等设计任务支持荣威750、550、奇瑞A3、A01D虚拟设计，A3获CNCAP五星安全大奖上海外环隧道、崇明过江隧道、过江大桥的安全评估和设计仿真对蛋白质-蛋白质相互作用准确预测，完成世界影响力的新药设计和研究船舶水动力特性的数值模拟支线飞机空气动力学设计分析船尾组合浆区域压力发布飞行器优化设计汽车碰撞与安全性评估金属催化过程药分子设计地质构造与抗震性能评估以上海超算为例分析典型超算中心运营模式232024/7/87/8/202424上海超算中心对区域科技创新

20、的巨大作用242024/7/87/8/202425超算中心需要成功地运营，创造出效益，得到投资者认可，才能获得进一步发展的机会，以上海超算中心为例：2000年I期建设上海市政府投资1亿元引进神威-I超级计算机主要服务少量高端科研用户市财政全额资助3000万运营经费2004年II期建设上海市政府投资9000万元，国家投资3000万元部署国内最大的超级计算机，并配备大量工业和商业计算软件大量科研和工业创新成果，国内最有影响的计算中心和创新服务中心市财政资助70%运营经费：4500万元当前III期建设上海市政府投资2亿元，国家投资1亿元引进亚洲第一超级计算机，升级应用软件，资源优势明显探索可持续发展

21、道路，为上海及全国的科研和经济发展发挥更大作用市财政资助60%运营经费：9000万元超算中心的分期建设原则252024/7/87/8/202426传统的超算中心主要作为公共计算平台，旨在提升区域科研能力和企业核心竞争力，通常需要财政补贴以维持正常运营。超算中心的收入来源计算资源按需服务高级技术咨询服务企业赞助超算中心的主要支出IT设施电力消耗人员工资等成本物业管理及其他费用超算中心的运营成本262024/7/87/8/202427全面采用“绿色计算”方案采用高效能服务器系统采用刀片式服务器采用虚拟化技术采用电源管理技术采用水冷散热技术实际效果电费得到了有效控制管理运营人员没有扩编面临的主要问题

22、和难题基础设施的分期改造带来的混乱服务器淘汰更新过快仍然“吓人”的电费账单仍然依赖政府的财政拨款曙光5000A高度关注运营成本272024/7/8探索适合超算中心应用的新技术和新平台已投入大规模运行的GPGPU机群安装于中科院过程控制研究所业界首款全兼容SSI标准的TC36002009年旧金山IDF大会上正式发布PHPC推动HPC的普及基于龙芯CPU的主板设计PowerConf节能软件282024/7/87/8/202429政府划拨2000年一期 3.5 年3000万元2004年二期 3 年4500万元2009年三期 3 年9000万元近几年情况2005年2006年2007年2008年2009

23、年2010年总运营费用180020002200270050005000财政拨款150015001500030003000自筹经费300500700270020002000上海超算中心运维资金情况292024/7/87/8/202430超级计算中心建成时间人员规模设备更新费用来源日常运营费用及来源（美元/每年）美国圣地亚哥超级计算中心1985400联邦机构6000万其中2000万来自NSF；其余主要来自联邦机构、州政府的各个研究项目美国国家超级计算应用中心1986500联邦机构超过2000万美元主要来自NSF，部分来自于州政府（700万）、大学及其他联邦机构芬兰科学计算中心1970140中央政府

24、机构5000万其中65%来自教育部，20%来自合作项目，15%来自其他方面瑞士国家超级计算中心199140联邦机构900万其中850万来自联邦机构；仅有50万来自第三方韩国KISTI超级计算中心1988中央政府机构3000万其中1000万来自韩国政府直接拨款；1000万来自与政府部门、高校的研究项目；另外1000万来自其他项目国际上超级计算中心维资金情况302024/7/87/8/202431基础设施一次规划，避免分期改造广泛调研，全面设计，一次投入（总计投入超过7亿）设备分批入场，快速投入运营一期设备快速入场，在2010年直接服务于深交会二期、三期设备按业务需要规模入场，追求综合效益最大 化

25、先科学计算，再城市信息服务以现有的科学计算为先导，快速提供服务，快速出成果数字城市、电子政务是华南超算中心未来的主要方向注重公共基础设施服务属性，以政府支持为主强调超算平台对地方科技的强大支撑作用重点发挥超算平台的公益效应华南(深圳)超算中心的建设方式312024/7/8建设超算中心成为国家/地区战略任务超算中心规划和建设方式云计算中心的运营服务模式探讨机遇与挑战主题7/8/202432322024/7/87/8/202433支持方观点：超算中心建设是一种先进的模式优化、集中IT软硬件资源，本身就是一种节约行为反对方观点：超算中心运营是政府的财政负担经济不足够发达地区，持续的财政拨款需求的确让

26、政府头疼到底谁错了？如果没有超算中心，政府每年分散的IT投资浪费触目惊心虽然有了超算中心，大多数政府并没有改变原有的IT投资方式原有的投资没有减少，又有了新的需求，自然就产生财政负担！问题解决途径：集中投资后，分散投资必须得到有效控制按现有的政府财政申请和拨款模式，很难有效操作从超算中心的自我经营模式寻找突破点新模式的探讨：分散的IT投资，改由政府统一向超算中心采购服务超算中心运营模式引发的矛盾332024/7/87/8/202434成立事业单位编制超算中心运营团队负责后期运营，主要资金来源为财政拨款，对外服务收入作为有益补充。政府及共建单位成立股份制合资公司进行企业化运营，并由政府提供基础运

27、营费用补贴。政府设定基本运营指标外包第三方企业运营并提供税收减免等优惠政策，企业自负盈亏。在保证运营指标的前提条件下，企业可以利用超算中心进行相关的商业运作，以补充运营费用、提升运营水平。进一步的大胆设想：厂商投资建设超算中心并负责运营，政府定期、定量采购超算中心软硬件服务，以补贴厂商建设投资和超算中心运营费用。新型超算中心的运营模式探索342024/7/87/8/202435全新建设运营模式：曙光投资建设超算中心并负责运营，政府定期、定量采购超算中心软硬件服务，以补偿建设投资和运营成本。用户收益政府消除了对未来不确定性的担忧。超算中心面向政府信息化应用，将大大提高政府信息系统的集中度，可节约

28、大量经费。政府获得了招商引资的效果。超算中心亦成为城市的科技名片，有较强显示度。成都超算中心的大胆尝试352024/7/8将日常将日常IT投入投入转化为服务采购转化为服务采购7/8/202436利益模型分析超算中心厂商政府服务提供服务提供定期定量的定期定量的服务采购承诺服务采购承诺分期回报分期回报再投资再投资服务提升服务提升优质的呈现优质的呈现达成战略合作协议达成战略合作协议将日常将日常IT投入投入转化为服务采购转化为服务采购分期回报分期回报362024/7/87/8/202437基于硬件的租赁服务基于硬件的租赁服务基于人力的技术服务基于人力的技术服务基于平台的基于平台的服务服务?网络和安全技

29、术HPC系统运维技术HPC应用运维技术网格计算技术并行编程技术数据处理及可视化HPC系统技术应用领域技术基于平台的服务呈现？云计算模式！对成都超算中心建设模式的解读372024/7/87/8/202438政府主导的新型超算中心建设将进入快速发展阶段超算中心是政府基础设施建设的一部分“公共服务”是未来超算中心的基本属性超算中心应用模式将不断拓展科研类：面向教育和科研领域用户的科学计算应用企业类：提供计算、存储和软件资源，对企业用户提供服务，按需付费政务类：IT投资集中化，建设成政务信息共享、交换中心金融类：面向金融、证券等行业的海量数据挖掘灾备类：面向政府或大型企业提供数据和应用的灾难备份与恢复

30、服务。电子商务类：线上交易平台与商务智能数据处理类：海量互联网数据的处理和分析。超算中心的发展要求382024/7/8超算中心的兴起是IT产业的发展趋势IT资源由分布趋于集中，大型超算中心（乃至未来的云计算中心）的建设将进入快速发展时期资源整合提高使用效率并易于管理和更低的TCO保证最佳的应用水平和服务支持IT资源将以“按需服务On-Demand-Service”模式展现给用户以超算中心为平台支撑的“云计算中心”的呈现软件即服务 Software as a service基础架构即服务 Infrastructure as a Service平台即服务 Platform as a service

31、云计算中心超算中心7/8/202439392024/7/8利用企业、品牌优势进行广泛联合合作，关注云计算技术趋势VMware战略合作关系，开展云计算虚拟化技术领域探索Microsoft战略合作关系，在云计算系统平台技术领域探索INTEL、AMD战略合作关系，在云计算硬件芯片级支持技术方面探索EMC战略合作关系，在云计算数据服务领域探索NOVELL战略合作关系，共同投资建设云计算展示平台SGI战略合作关系，提供大型主机、数据中心与计算解决方案级体验曙光应用体验中心对用户提供免费的云计算体验服务曙光具有云计算平台、云计算技术科研开发力量曙光具有提供多样化云计算硬件平台的优势曙光具有强大的云计算应用

32、支持领域工程师队伍曙光具有提供云计算服务模式的基础曙光具有国内最成功的实战案例曙光迎接云计算时代的到来7/8/202440402024/7/8建设超算中心成为国家/地区战略任务超算中心规划和建设方式云计算中心的运营服务模式探讨机遇与挑战主题7/8/202441412024/7/87/8/202442不同于其他大型科研创新基础设施的特点设备更新周期短，日常运维投入大技术要求高，对尖端人才的依赖程度大覆盖面广，需要跨多个学科、产业领域的结合现有投资渠道和投资方式的不足重硬件，轻软件重建设，轻运维国家层面缺乏统筹和规划愿意做，但不敢做；越不做，越不知如何做“起大早，赶晚集”的困惑超算中心建设面临的挑

33、战422024/7/87/8/202443时代发展带来的机遇高速发展的中国经济牵引着超级计算的发展世界经济的复苏为超级计算的发展提供强大动力中国综合国力的增强为超级计算发展提供最强有力的支持国家、政府越来越重视超级计算，不断加大投入，创造产业环境高性能计算的普及推动了产业技术发展超级计算得到教育行业的重视，培养出一批高水平人才超级计算日益与工业、产业发展相融合，并创造巨大效益新技术变革带来的产业变革和跨越 发展的难得机遇云计算、虚拟化技术GPGPU计算为代表的高效能计算绿色计算催生出的技术变革432024/7/87/8/202444曙光与中国高性能计算普及“领导者”从曙光1号到曙光5000代表

34、着中国高性能计算发展的最高水平以推动中国高性能计算的发展为己任，努力推动中国高性能计算的普及曙光与中国超算中心建设发展“先行者”与中国运营最成功的上海超算中心成为“战略合作伙伴”，参与支持上海超算中心的建设，获得宝贵经验。推出中国“宏计划”战略，以推动区域经济、科技发展为己任，陆续在深圳、兰州、成都、广州、沈阳等地掀起国家/区域超算中心建设热潮曙光与中国“云计算”业务模式“探索者”由研制超级计算机系统，转型到提供超算计算应用解决方案，乃至探索成为以信息服务提供为核心的云计算运营者曙光超级计算机的研制和技术变革，为云计算提供平台和技术支撑由传统的科学计算的科研方向，到信息服务、电子商务服务、数据服务需求的强大牵引以“服务”为核心的曙光用户应用体验中心的有效转型，为云计算提供应用解决方案以成都超算中心为代表的经营服务的模式，是中国云计算服务商业运营的最有效实践总结442024/7/87/8/202445谢谢！2009年10月29日The END452024/7/8