《虚拟天文台培训资料.ppt》由会员分享,可在线阅读,更多相关《虚拟天文台培训资料.ppt(95页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、虚拟天文台National Virtual ObservatoryThe National Virtual ObservatoryNationaldistributed in scope across institutions and agenciesavailable to all astronomers and the publicVirtualnot tied to a single“brick-and-mortar”locationsupports astronomical“observations”and discoveries via remote access to digita
2、l representations of the skyObservatorygeneral purpose access to large areas of the sky at multiple wavelengthssupports a wide range of astronomical explorationsenables discovery via new computational toolsNational Virtual Observatory 虚拟天文台建成前:利用大样本巡天/数据库 的例子National Virtual ObservatoryHigh Redshift
3、 QuasarsSeveral z5 QSOs discovered by SDSSin the early test dataNational Virtual ObservatoryMethane/T DwarfDiscovery of several newobjects by SDSS&2MASS SDSS T-dwarf (June 1999)National Virtual ObservatoryDPOSS Discoveries National Virtual ObservatoryNew Neighbor of the Milky WayFinding new galaxies
4、 by spatial clustering of red objectsNew galaxy is about 30 million light years awayLarger than most of the spiral galaxies in the Messier CatalogueClearly visible in the 2MASS infrared imageExpect to find 1000s of such galaxies with 2MASSInfraredOpticalNational Virtual Observatory用户需要做的事情:1.提出科学思想,
5、及对数据库的需要2.检索数据库(用户到不同站点寻找)3.下载所需的数据(x TB?包括各种元数据,定标数据)4.对数据进行标准化处理(需要软件平台)5.数据的匹配(如果使用二个以上数据库的资料)6.发展各种软件工具(可视化,统计工具 )National Virtual Observatory为虚拟天文台设计的几个例子National Virtual Observatory例1:活动星系核(AGN)的 全波段研究 背 景 AGN的高光度:使他们在很大的宇宙距离上可见 AGN代表了星系演化的一个基本阶段,在观测上,由於AGN的光谱能量分布比一般黑体谱宽 很多,易于从恒星中分辨出来。但是,红移,光变
6、,(可能很大的)被遮挡,以及内 禀光谱形状与特征的不同,导致从X射线到射电波段的“颜色”有很大的范围。National Virtual Observatory 科学目标 这个课题旨在建立一个完整的AGN的样本以便:检验观测到的特性是由外在因素,如,指向或遮挡所 决定的想法(所谓统一模型)。比较AGN环境对AGN类型的影响,例如其射电特征 与星系团成员的关系。了解AGN光度函数的演化,特别是区分数目演化和 光度演化。在不同波段上建立AGN光度函数,由此来了解在统 计意义上AGN特性的演化过程。National Virtual Observatory 课题概要1 联合几个(N)巡天,它们覆盖同一(
7、足够大)天区,并跨 越很大的波长范围(从X射线到射电)2 包含元数据信息,以便考虑巡天选择效应及其局限性。相 关的元数据将包括巡天天区,波段范围,流量极限等等3 在合成后得到的N维多色空间中认证可以辨认的天体“云”4 利用已有的天文数据(比如发表的星表,理论模型)以了 解这些“云”的成分。5 在联合数据中认证AGN候选体。注意可能需要新的观测 来证实。这种证认可能是统计性的,给出某一天体是AGN 的几率。6 利用星表的性质加上/或者从图像库的进一步的测量来提出 科学问题。National Virtual Observatory 对NVO功能的需求对相关巡天的联合,包括在不同波段巡天上天体的交
8、叉认证以及元数据的交换与融合。用团分析区分“片”与“链”。包括导向分析(由天文知 识引导去确证与分析)与无导向分析(识别新模式)。多维数据的可视化。在多维参量空间对定义的天区进行天体成分的统计分 析与分类。National Virtual Observatory例2:大尺度结构的形成与演化 背 景星系团代表了已知最大的明确的质量结团现象,不同的早期宇宙演化模型预言了不同的星系团的形成和演化。这些模型可以通过将预言与观测的星系团的质量和光度函数进行比较加以验证National Virtual Observatory 科学目标这个项目的目标是建立无偏的,在宇宙学意义上有相当红移跨度的星系团样本,通
9、过与观测到的质量和光度函数随红移演化的比较,来检验各种结构形成与演化的模型。另外,这些样本也可以用来研究星系的形态密度关系及其在特定时间尺度上的演化。National Virtual Observatory 项目概述1 通过以下不同方法,利用多波段象素数据生成统计星 系团样本:X射线巡天:从图像数据中的热气体发射认证星系团 光学/红外巡天:把图像数据与设计好的核卷积挑选星系团 毫米波巡天:由 Sunyaev-Zeldovich 效应引起的 CMB 温度变化来认证星系团 射电巡天:根据标志星系团环境的射电源形态来认证 星系团2 比较不同选择方法的结果。定量给出选择效应作为星系团质 量,密度,红移
10、等的函数3 运用多种距离指示器或者红移估计来补充星系团的观测特性National Virtual Observatory 对NVO功能的需求根据用户定义的算法和工具对大量图 像数据进行处理模拟巡天以了解选择效应;用模拟检 验用户定义的工具 根据不同的理论预测观测样本特性。与观测样本作比较。National Virtual Observatory 例3:数字银河系 背 景银河系在结构上由多种成分组成:晕,薄盘,厚盘,核球,旋臂。每一部分由在年龄,质量,化学组分,轨道(位置与运动)等分布上相关的星族,以及如气体和尘埃等非恒星物质的分布来表征。它们是反映银河系形成过程的化石,从整体上说,对这些结构的
11、全面理解从来没有实现过,因为要同时定出所有变量所需的样本之大,使得研究非常难于进行。National Virtual Observatory 科学目标这个项目要建立一个非常大的银河系恒星样本,以及尽可能多的关于每一个天体物理特性的信息。这些资料加上银河系非恒星物质的分布图将用来:产生银河系参数化的模型,包括位置和运动 信息 把这个模型同根据不同形成过程的银河系结 构模型进行比较 特别要寻找代表并合事件或潮汐碎片痕迹的 共动天体群National Virtual Observatory 项目概述 1 合并各种光学和红外巡天来产生出彼此匹配的星表2 利用位置,星等和颜色来建立三维恒星分布。这需 要
12、用颜色来得到光度型并估计消光3 根据远红外,HI和CO图像,定量得出尘埃分布和遮挡4 反复迭代项 2 直至自洽5 用红外和射电图像来确定恒星形成区的整块流动和 位置信息6 用自行巡天(如果有可能,加上视向速度信息)推 导出恒星子集的运动7 用多次历元的成像寻找变星。利用它们检验距离National Virtual Observatory 对NVO功能需求 联合多波段和多次历元的星表以用户自定义工具对大量图像数据进行处理大量多维数据的可视化成分分析及寻找相关天体群的统计工具National Virtual ObservatoryExamples:non-local queriesFind all
13、 objects within 1 which have more than two neighbors with u-g,g-r,i-K colors within 0.05mFind all star-like objects within dm=0.2 of the colors of a quasar at 5.5z6.5,using all colors in all available catalogsFind galaxies that are blended with a star,output the deblended magnitudesProvide a list of
14、 moving objects consistent with an asteroid,based on all the surveys,estimate possible orbit parametersFind binary stars where at least one of them has the colors of a white dwarf,within the error boxes of hard x-ray sourcesNational Virtual Observatory时 代National Virtual Observatory两百多年来,天文研究通常都是单个天
15、文学家或者天文学家小组进行为数有限的天体的观测。National Virtual Observatory过去天文学家常常花整个一生所获得的资料,仅仅够得出有统计意义的结论。加上威力大的设备的观测时间是非常有限,那些需要大量数据来解决的天体物理问题就不能进行研究National Virtual Observatory现在情况正发生着巨大而迅速的改变.这一改变是由过去几十年中发生的前所未有的技术进展所推动的.这场天文学上革命性改变的主要领域集中在以下几个方面:望远镜的设计和制造,大尺度探测器阵列的开发,计算能力的指数增长以及通信网络不断增长的覆盖面积和容量National Virtual Obse
16、rvatory如同 Moore 定律反映计算能力随时间指数增长,在过去10年中观测天文技术的进步对天文发展也可以用 Moore定律来描述。National Virtual ObservatoryHST Data Archive Several Terabytes/yearAlready more retrieval than ingest!National Virtual ObservatoryTrendsFuture dominated by detector improvementsTotal area of 3m+telescopes in the world in m2,total n
17、umber of CCD pixels in Megapix,as a function of time.Growth over 25 years is a factor of 30 in glass,3000 in pixels.Moores Law growth in CCD capabilities Gigapixel arrays on the horizon Improvements in computing and storage will track growth in data volume Investment in software is critical,and grow
18、ingNational Virtual Observatory更多的地面和空间大口径天文设备的出现将会有一个严重且必然的结果:数据流极大地增加。比如目前 HST 每天大约产生 5Gb 的数据,而最近AASC巡天推荐建造的设备-大口径巡天望远镜 the Large-Aperture Synoptic Survey Telescope-每天产生 10 TB 的数据!National Virtual Observatory除了数据增长速度,观测的方式也正在发生变化。尽管新的地面和空间天文台还继续分给单观测者/单计划的观测模式的研究相当多的观测时间,这些时间被分成许多小时段安排给许多特定目标的研究课题
19、,但更多的时间是用来进行大尺度的巡天,经常是多波段,涉及大量的合作者。National Virtual ObservatoryThe ObservatoriesNOAO/NRAO 20%of the time on all its telescopes dedicated to major surveys using a wide range of telescope and instrumentation packagesThe NASA Great Observatoriesnew opportunities for surveys,combine mission-specific dat
20、a with those from other missions and from the groundseveral multi-Terabyte databasesand further extensive catalogs of objectsNational Virtual Observatory这些大的巡天计划将会产生大量质量均匀,标准统一的数据,通常会以T字节来衡量。这种天文研究的变化,不仅由於新设备威力的提高允许更快速地获得这些数据,还由於计算机的硬件和软件可以快速地进行数据采集、处理及存档。National Virtual ObservatoryOngoing Mega-Sur
21、veysLarge number of new surveysMulti-terabyte in size,100 million objects or largerIndividual archives planned and under wayMulti-wavelength view of the skyMore than 13 wavelength coverage within 5 years Impressive early discoveriesFinding exotic objects by unusual colorsL,T dwarfs,high redshift qua
22、sarsFinding objects by time variabilitygravitational micro-lensing MACHO2MASSSDSSDPOSSGSC-IICOBE MAPNVSSFIRSTGALEXROSATOGLE,.National Virtual ObservatoryProposed SurveysNext Decade:New optimized“survey systems”exploring new parameter spaceexploring new parameter space Dark Matter Telescope(DMT)map t
23、he distribution of matter for z10 Gbits/s)backbones cross-connecting the major archivesScalable computing environment with hundreds of CPUs for statistical analysis and discoveryNational Virtual ObservatoryNVO Development FunctionsSoftware developmentquery generation/optimization,software agents,use
24、r interfaces,discovery tools,visualization toolsStandards developmentMeta-data,meta-services,streaming formats,object relationships,object attributes,.Infrastructure developmentarchival storage systems,query engines,compute servers,high speed connections of main centersTrain the Next Generationtrain
25、 scientists equally at home in astronomy and modern computer science,statistics,visualizationNational Virtual Observatory挑 战National Virtual Observatory国家虚拟天文台的实施涉及到许多重大的技术挑战。这包括现有的天文存档数据的协调以及新能力和数据结构的发展。国家虚拟天文台的主要技术构成,包括数据库、元数据标准、数据访问界面、查询和计算服务,以及数据开发应用。这些能力的提高将要求与信息技术界的密切合作National Virtual Observa
26、toryExamples:Todays I/O ratesReading a 1 TB data setdata access speed time daysFast database server50 MB/s0.23Local SCSI/Fast Ethernet10 MB/s 1.2T10.5 MB/s 23Typical good www20 KB/s580Brute force is not enough we need clever techniquesNational Virtual ObservatoryThe Road to the NVOThe environment to
27、 exploit these huge sky surveys does not exist today!1 Terabyte at 10 Mbyte/s takes 1 dayExpect 100s of intensive queries and 1000s of casual queries per-dayData will reside at multiple locationsExisting analysis tools do not scale to Terabyte data setsAcute need in a few years,it will not just happ
28、ena New Initiative is needed!a New Initiative is needed!National Virtual ObservatoryNVO:The ChallengesSize of the archived data40,000 square degrees is 2 trillion pixelsOne band:4 TerabytesMulti-wavelength:10-100 TerabytesTime dimension:few PetabytesThe development ofnew archival methodsnew analysis
29、 toolsHardware requirementsTraining the next generationNational Virtual Observatory需 求National Virtual Observatory对这样包含数亿个源的多波段数据库,天文学界显然要求访问,使用这些数据库,和分析这些数据的工具.数据库的开发、先进的图案识别、大尺度统计交叉相关、稀有天体以及时变的发现等机会,都是很显然的.National Virtual Observatory在天文学历史上第一次可以将成熟的数值模拟和统计上完备的多变量的数据进行有意义的比较.高速和广泛分布的网络的迅速进步意味着全球的天
30、文界都可以分享这些科学努力的成果.National Virtual Observatory过去几年这些技术进步会合在一起,它将完全地改变现行的大部分观测天文学的工作方式。这些变化是不可避免和不可逆转的,他们对天文社会学本身将产生巨大的影响。大家都越来越意识到,在美国和美国以外所有地方对科学数据的获得、组织、分析以及传播对科学和技术的持续发展都是基本的要素。所有这些都表明,建立一种机构去有效地综合这些技术能力势在必行。因此就需要一个象国家虚拟天文台这样的实体来指导日益增多的天文数据的合理部署。National Virtual Observatory基于太字节的数据文档关联、波长遍及从伽玛射线波段
31、到射电波段的成百万个天体的图像库、高度复杂数据的开发和分析工具、可访问带有千太字节存储容量的每秒运算次数达到万亿次的超级计算设备,以及在各主要天文中心间的极高速的互联,国家虚拟天文台将是独一无二的。National Virtual Observatory国家虚拟天文台使成千上万的研究者可以快速地访问各自的太字节大小的文档;使埋藏在巨大星表和图像数据库中的多种图样可视化;增加复杂分布结构和稀有现象的发现机会;鼓舞多个研究小组间的实时合作;允许进行大型的统计学研究,这些研究第一次将数据库的内容和复杂精密的数字模拟结果进行对比。National Virtual Observatory国家虚拟天文台会
32、为我们理解许多决定宇宙演化的天体物理学过程提供便利。它会用更合算的投资建立新的、更好的科学。National Virtual Observatory国家虚拟天文台将作为一个协调性的和操作性的机构促进设备上的、协议上的和必要合作上的开发,去实现在未来几十年内天文学数据库上完全的科学潜能;National Virtual Observatory国家虚拟天文台将成为“天文学发现”的一部发动机National Virtual ObservatoryNVO:A New InitiativeA new initiative is needed to ensure an evolutionary,cost-
33、effective transitionto maximize the impact of large current and future effortsto create the necessary new standards in the communityto develop the software tools needed to ensure that the astronomical community has the proper network and hardware infrastructure to carry out its science The National
34、Virtual Observatorycan be the catalyst of the“New Astronomy”National Virtual Observatory结 构National Virtual ObservatoryWhat is the NVO?-ContentSource Catalogs,Image DataQuery ToolsSpecialized Data:Spectroscopy,Time Series,PolarizationInformation Archives:Derived&legacy data:NED,Simbad,ADS,etcAnalysi
35、s/Discovery Tools:Visualization,StatisticsStandardsNational Virtual ObservatoryWhat is the NVO?-Components Information Providerse.g.ADS,NED,.Data ProvidersSurveys,observatories,archives,SW repositoriesService ProvidersQuery engines,Compute enginesNational Virtual ObservatoryConceptual ArchitectureDa
36、ta ArchivesAnalysis toolsDiscovery toolsUserGatewayNational Virtual ObservatoryNVO LayersBasic analysis toolsQuery capabilitiesStatistical toolsAbility to run user code(API)Browsing toolsThree layers built on top of another,tied together with standardsArchivesData contentInterconnectionsCross identi
37、ficationsServicesDiscovery toolsVisualizationAdvanced classification methodsSupervised/unsupervised learningData mining StandardsMeta-dataInterfaces between archivesCross-identification standardsArchive-tool interfacesNational Virtual Observatory职 能National Virtual Observatory建立数据管道、存档和下载的公共系统,保证大量用
38、户进行 经济而高速的访问;National Virtual Observatory实现查询、关联、可视化和统计对比的常用软件工具的分布式开发;National Virtual Observatory协调建立高速的数据传输网络,为文档、每秒万亿次的超级计算设备和分布广泛的用户提供连接;National Virtual Observatory推动国内和国际的天文中心、主要学术机构间多产的合作,高科学产出,低基础设施的费用;National Virtual Observatory确保和其它学科的、面临类似课题的科学家以及私人机构间的交流和可能的合作National Virtual Observato
39、ry持续支持大众领域和教育领域的计划,利用独一无二的的资源,包括国家虚拟天文台的数据和软件,提供给这两个领域一个进入天文学和科学方法论的独一无二的窗口National Virtual ObservatoryThe Mission of the NVOThe National Virtual Observatory shouldprovide seamless integration of the digitally represented multi-wavelength skyenable efficient simultaneous access to multi-Terabyte to
40、Petabyte databases develop and maintain tools to find patterns and discoveries contained within the large databasesdevelop and maintain tools to confront data with sophisticated numerical simulationsNational Virtual ObservatoryThe Flavor/Role of the NVOHighly Distributed and DecentralizedMultiple Ph
41、ases,built on top of anotherEstablish standards,meta-data formatsIntegrate main catalogsDevelop initial querying toolsDevelop collaboration requirements,establish procedure to import new catalogsDevelop distributed analysis environmentDevelop advanced visualization toolsDevelop advanced querying too
42、lsNational Virtual ObservatoryThe Goals of the NVOVirtual observations of the sky in multiple wavelengths,by integrating all-sky Mega-surveysQuery the individual object catalogs and image databases thousands of times per dayJoint queries of the combined catalogs thousands of times per dayEnable disc
43、overy in these archives via new tools novel visualization techniques,supervised,unsupervised learning,advanced classification techniquesNational Virtual Observatory设 计National Virtual Observatory 设计理念 国家虚拟天文台必须是 进化的 分布式的 集成的 提供非专业领域的服务 适应全球需要 提供一条通向未来的道路National Virtual Observatory国家虚拟天文台必须是进化的。自创建开
44、始,进化的特性就将使其能快速回应不断变化的技术上和科学上的机遇以及天文界的需求。由于技术能力的不断提高,这种进化的特性将成为国家虚拟天文台自始至终不可或缺的组成部分。这种灵活应对的策略是管理国家虚拟天文台分布式开发成果的和迅速开拓新机遇的管理结构所需要的。管理和监督必须是有效的、经济的、有远见的和对天文界负责的,而且,必须将日常开支和官僚机构的惰性减少到最低程度。National Virtual Observatory国家虚拟天文台本质上必须是分布式的。相当多的专家在已有的各个中心工作,国家虚拟天文台的完全优势将从这一点出发。进一步说,迈向国家虚拟天文台这一目标最为经济有效的进展也许应该通过在
45、其运作阶段采取分布式的方案实现。这一方案需要那些已经存在的中心和未来的数据中心。国家虚拟天文台职能的关键部分将在这些中心里最为有效的完成。National Virtual Observatory国家虚拟天文台必须是集成的。集成将会是作为分布式结构的补充而伴随国家虚拟天文台一直存在的主题。为了使其能极为有效的为科学进步提供便利,在全波段上、在天基的和地基的设备上,信息技术功能必须是集成的。另外,计算机科学和信息技术的集成开发将成为国家虚拟天文台的基本要素之一。National Virtual Observatory国家虚拟天文台必须提供非专业领域的服务。通过国家虚拟天文台可以得到巨大的数据集和附
46、带的分析工具,这些将提供给教育领域和公共领域一个前所未有的服务机会。一个充满活力的非专业领域的服务计划会发掘出国家虚拟天文台教育潜力的全部优势,这个计划将贯彻国家虚拟天文台发展的各个阶段。National Virtual Observatory 国家虚拟天文台必须适应全球需要。国家虚拟天文台与其它国家类似方面努力的国际联结将成为其持续的一个方面。虽然国家虚拟天文台在最初不会是一个国际性合作机构,但是很明显的是它必须与其它的研究工作维持交流、并在适当的时候进行各种层次的合作。看起来是不可避免的,国家虚拟天文台发起的研究工作将成为世界性的活动。National Virtual Observator
47、y国家虚拟天文台必须提供一条通向未来的道路。这里大致描述一下国家虚拟天文台的远景:它将是一个起催化和实现功能的机构,拥有最小的结构和庞大的连接。这种机构的直接产物将使天文学的科学产出提升到一个新的层次上。当然,国家虚拟天文台更大的和可能是更长久的遗产将是它在建立一个美国的和世界的天文学信息基础设施中所起的作用。为国家虚拟天文台所力促的基础设施的增长,将提供给未来的天文学研究空前的新生命力和机遇。National Virtual Observatory实 施National Virtual Observatory 计划实施第0阶段:前期准备到NVO起动 目标:国家虚拟天文台的概念性设计;在一些中
48、心开始提 供实施NVO所必需的功能第一阶段:118个月 目标:建立利用集成的数据进行发现、数据传送和数据相 互比较的服务功能第二阶段:1836个月 目标:建立初始的大范围交叉相关的功能;开始全面运作第三阶段:3660个月 目标:建设全面运转的标准化的NVO;实现全规模的,由 计算和网络恰当组合的系统来支持的交叉相关National Virtual Observatory经 费National Virtual ObservatoryNVO FundingThe NVO is ideal for multi-agency and IT fundingrelevant for all areas o
49、f astronomy and space scienceexcellent match to goals of the IT2 initiativebut:core funding must come from NASA and NSFneeds serious involvement of computer scientistsScopeapproximately$25M for the first 5 years,could be larger in the second halfRequires long term commitmentdevelopment/deployment(5+5 years)Needs to start soondata avalanche has already begunAn effort for the whole astronomy An effort for the whole astronomy -astrophysics community!-astrophysics community!Thank you!94此课件下载可自行编辑修改,仅供参考!此课件下载可自行编辑修改,仅供参考!感谢您的支持,我们努力做得更好!谢谢感谢您的支持,我们努力做得更好!谢谢
限制150内