大数据在气象行业中的应用探讨.pdf

《大数据在气象行业中的应用探讨.pdf》由会员分享，可在线阅读，更多相关《大数据在气象行业中的应用探讨.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据在气象行业中的应用探讨 摘 要：现如今，科学技术发展迅速，信息化发展进程也在不断加快，气象行业在内部累积的历史气象数据数量不断增加。气象大数据的应用价值比较高，能够提供各类气象服务，包括科研服务、气象部门内部业务服务以及气象公共服务等等。然而对于大数据管理、高可靠存储、分析、处理以及检索等技术的发展不断提高。对此，本文首先对气象大数据服务进行了介绍，然后对大数据在气象服务中的应用方式进行了分析，并且以“气象+农业”的应用方式为研究对象，并对此进行了详细阐述。关键词：气象行业；大数据；数据分析 引言 随着社会、经济和科技的发展，气象与国计民生的关系越来越密切，气象服务对经济建设、社会发展和

2、人民生活的影响日益明显，气象工作也前所未有地受到全社会的关注。农业、交通业、建筑业、旅游业、销售业、保险业和电力行业等，都与天气变化息息相关。随着社会气象意识、气象观念的提升，气象服务也发挥着越来越重要的作用。1 大数据的概述 大数据的定义不是一成不变的，而是呈现多样化发展的状态。广泛通用的定义是 2011 年国际数据中心 IDC 定义的大数据：“大数据技术描述了一个技术和体系的新时代，被设计用于从大规模多样化的数据中通过高速捕获、发现和分析技术提取数据的价值”。一般是指具有“5V”特征的数据集合：volume（大量）、velocity（高速）、variety（多样）、value（高价值）和

3、veracity（真实性）。2 气象大数据的介绍 气象数据量不断翻番，目前每年的气象数据已接近PB 量级。气象数据主要可分为两大类：一类是实况数据，即利用各种观测手段观测到的“过去的数据”；另一类为模式数据，利用观测到的数据通过模式计算得到的“未来的数据”，用于预测未来天气。从来源渠道划分，气象大数据又可分为“气象行业大数据”和“气象互联网大数据”两类，本文旨在讨论气象互联网大数据。沈文海指出：“气象互联网大数据”由互联网上与气象相关的所有数据组成，包括移动终端搭载的气象要素传感设备的探测数据，网友随手拍并上传的天气状态照片，搜索引擎对气象相关敏感词的统计分析数据，其他所有可供气象部门业务和服

4、务应用的互联网数据等。3 大数据在气象行业中的应用 3.1 数据整合 气象业务从最初的天气预报发展到现在气候预测、气候可行性论证、公共气象服务、专业专项气象服务、气象防灾减灾等，大数据技术也成为气象服务不断创新和完善的重要支撑。其中数据整合采用消息队列、数据导入工具、数据抽取工具、数据复制工具等多种技术手段，实现结构化、非结构化、海量历史数据、准实时数据、地理空间等数据接入。其中，地面气象站观测所获取的数据是需要永久保存的，其使用率非常高，除了常规天气预报业务需要用到外，诸如气候预测、气象农业、环境气象、交通气象、电力气象以及科研等领域，都需要用到这些数据。目前，我国地面观测台站已达到约4 万

5、个，遍布我国各个地区。由于自动观测技术的发展以及地面自动气象站的推广普及，地面观测业务摆脱了人工观测居住环境的要求，观测站点可布设到许多环境十分严苛的地域，如：荒岛、沙漠、高原等。以气象卫星和多普勒天气雷达为代表的遥感遥测业务领域近三十年来取得了飞速发展，这些领域一方面每天产生着数TB 级的观测数据，另一方面也需要地面观测等实测数据作为其遥感数据的订正依据。地面及高空观探测数据为结构化数据，气象卫星、天气雷达数据则为非结构化数据。以这些数据为主，构成了“气象大数据”。虽然“气象大数据”与目前业界公认的以“4V”为特征的大数据的存在一定差异，但数据量的巨大以及迅速膨胀的速度则是十年前完全无法想象

6、的。3.2 数据存储 数据存储是对各类接入数据按照统一数据规范按照标准化格式进行存储，依据应用需求存储在分布式文件系统、分布式数据仓库、非关系型数据库、关系型数据库，实现各类数据的集中存储与统一管理，满足大量、多样化数据的低成本存储需求。数据存储管理使用基础数据管理、数据质量管理、数据流转监测、数据权限管理和数据运维辅助管理，管理内容如下：(1)基础数据管理：提供对大数据元数据资源的统一管理，保证数据资源的标准化应用，为质量监测、流转监测提供基础数据。(2)数据质量管理：提供业务明细数据、指标数据等多数据模型的数据质量分析和校核规则，持续提升数据质量。(3)数据流转监测：从数据接入环节、抽取环

7、节、业务处理环节对过程处理进行逐级监测、层层控制。(4)数据权限管理：提供访问各类数据的授权功能，保证数据的安全及可靠性。(5)数据运维辅助管理：提供数据日常管理和监控等辅助管理.3.3 数据计算 气象大数据的数据计算采用流计算、内存计算、批量计算、查询计算等分布式计算技术，满足不同时效性的计算需求。流计算支持实时处理，内存计算支持交互性分析，批量计算支持大批量数据的离线分析，查询计算支持类似 SQL 查询分析。气象已有的观测方法是利用各种测站、探空气球、天气雷达、气象卫星等不同观测设备采集风、湿、温、压等气象资料，然后汇总到各级气象部门，观测范围从地面到高空，观测频率日渐密集，但我国幅员辽阔

8、，地形复杂，天气现象多样，加之社会公众对气象产品的需求更是因人、因时、因地而不同，单凭气象一个部门，无法掌握更加全面的数据，在互联网、智能终端飞速发展的今天，拓宽数据获取的渠道和途径，记录无时无刻、无所不在的观测数据，以弥补专业气象探测设备无法获得的探测信息，如在各种智能终端上加载传感器，实时监测气象要素；利用城市中安装的摄像头获取天气实况；手机用户共享的实景图片等，使得气象数据类型、覆盖范围得到有效补充，形成三维立体无缝观测。3.4 数据分析 气象大数据分析在融合传统数据挖掘算法的基础上，优化分布式挖掘算法，形成数据挖掘基础算法库，在此基础上，构建支撑气象行业大数据分析算法模型。对于建模算法

9、选择，主要依赖于所要解决的问题，即大数据分析应用的具体业务需求。对于预测类的问题，有回归和分类预测两种，算法可以选择决策树、逻辑回归、神经网络、机器深度学习应用等；对于描述类的问题，可以选择聚类分析、关联分析、最优化分析等。最后根据所选择的建模算法，通过分析建模工具建立模型。3.5 数据服务 数据服务平台上不仅有气象部门的观测数据，而且允许各部门、民众将采集的数据上传到平台，实现平台数据的共建共享。如林业、交通、水利、农业等部门上传的数据，一方面可以为气象部门开展交通运输天气预报、山洪地质灾害预报、农业灾害气象条件预测等提供数据基础，另一方面气象数据也可以为上述部门防灾减灾提供数据依据。电信网

10、络作为承载国民经济信息化的重要平台，流通和汇聚着丰富的数据资源，是大数据资源的重要组成部分，也是全社会的宝贵财富。用户的通话情况、上网情况、位置移动等，都以数据形式发生，并存储在基础电信企业的管道里。气象的公益性质，决定了以单向为主服务于社会及民众的方式，但其缺乏服务主体的主动反馈，随着人们生活水平的提高，对气象服务的需求更加多样化，这需要气象部门时刻把握用户的需求，利用各种渠道收集用户反馈，提升服务质量。如墨迹天气，利用用户反馈，将公里级检测数据及时同化到预测模型中去，让短时预报更加精确，同时加强了与用户的互动交流。结语 目前，气象行业大数据分析及应用在跨行业数据融合分析有了很大的进步，但社

11、会上大多数行业的大数据应用仍局限在行业数据自身价值的深度挖掘。跨行业数据壁垒是当前大数据应用推广的一个实实在在的障碍，建立一个行业间双方及多方的信息共享基础环境，进行跨行业跨领域的数据融合及深度分析，更大地实现气象行业大数据的价值，为社会创造更多的财富仍是未来一个技术探索领域。参考文献 1陈景丽,陈鹏,鲍婷婷.云计算环境下气象大数据服务应用分析J.中国科技信息,2019,(11):88,90.2刘骥超,叶钒,谢寒生.云计算环境下气象大数据的应用研究J.计算机技术与发展,2019,29(5):168-171.3曾行吉,任晓炜,宋瑶,等.微服务在气象数据服务中的应用研究J.气象研究与应用,2019,40(1):80-83.4张志强,张强,陈东辉,等.基于混合云架构的气象数据服务平台研发及应用J.中国科技成果,2018,19(17):55-56.作者简介：白玛措姆，19750605，女，青海玉树，藏族，本科，副高级工程师.