基于云原生的卫星遥感大数据服务框架(T-ZKJXX 00037—2023).pdf

ICS 35.240.70 CCS L 77 团体标准团体标准 T/ZKJXX 000372023 基于云原生的卫星遥感大数据服务框架 Framework for satellite remote sensing big data service based on cloud native 2023-08-29 发布 2023-08-29 实施 中关村空间信息产业技术联盟中关村空间信息产业技术联盟 发布发布 T/ZKJXX 000372023 I 目次 前言.II 引言.III 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 缩略语.2 5 框架体系.2 框架组成.2 业务逻辑关系.3 服务对象.3 服务方式.4 信息安全.4 6 管理服务.4 服务内容.4 服务要求.4 7 处理服务.4 服务内容.4 服务要求.4 8 智能解译服务.5 服务内容.5 服务要求.5 9 可视化发布服务.5 服务内容.5 服务要求.5 参考文献.7 T/ZKJXX 000372023 II 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中关村空间信息产业技术联盟提出并归口。本文件起草单位：航天宏图信息技术股份有限公司、航天规划设计集团有限公司、北京元以论策科技有限公司。本文件主要起草人：廖通逵、刘丽、杨娜、钱晓明、魏雷涛、陈甲、钱越英、乔江河、赵蓉、刘凤君、张男、齐瑞清、陈志勇、任亚平、秦观利、朱炼。T/ZKJXX 000372023 III 引言 近年来，随着国家高分专项的实施和空间信息基础设施的建设以及国内外商业航天的高速发展，多源海量卫星遥感数据迅速涌现，卫星遥感大数据的标准化管理，自动化、智能化处理和快速共享发布服务以及服务群体的大众化等需求迫切。云原生典型技术包括微服务、容器化、DevOps和持续交付，其为基于云端的平台系统建设带来一种全新的构建方式和运行应用方式，其核心特质为模块化、可观察、可部署、可测试和可替换。基于云原生技术构建的遥感云服务平台，结合云架构的应用设计，可以充分利用和发挥云平台的弹性、分布式特点优势，构建出容错性好、易于管理的松耦合系统，同时依靠自动化技术及智能监控预警体系，开发人员能够更快速、轻松地交付、迭代软件系统，从而满足卫星遥感大数据采集、存储、计算、管理、应用的全链路高效、自动化、智能化，快速满足用户多变需求。本文件的制定，可为基于云原生的卫星遥感大数据服务平台的开发提供基础标准参考，助力卫星遥感大数据服务平台的普及开发和推广应用，加速卫星遥感生态构建。T/ZKJXX 000372023 1 基于云原生的卫星遥感大数据服务框架 1 范围 本文件规定了基于云原生的卫星遥感大数据服务框架的组成、架构和业务逻辑关系，描述了卫星遥感大数据服务的对象、方式、运行环境以及内容和指标要求。本文件适用于基于云原生的卫星遥感大数据产品的开发和应用。2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 15968 遥感影像平面图制作规范 GB/T 22239 信息安全技术 网络安全等级保护基本要求 GB/T 35642 1:25000 1:50000 光学遥感测绘卫星影像产品 CH/T 1015.2 基础地理信息数字产品 1:10000 1:50000生产技术规程 第2部分：数字高程模型（DEM）CH/T 1015.3 基础地理信息数字产品 1:10000 1:50000生产技术规程 第3部分：数字正射影像图（DOM）3 术语和定义 GB/T 149112008、GB/T 176942009界定的以及下列术语和定义适用于本文件。云原生 cloud native 在云计算、微服务、服务网格、容器化、开发运维一体化（DevOps）以及以Docker、Kubernetes为代表的理念和技术的普及和推动下产生的一套技术体系和方法，是系统架构理念和设计原则的抽象。卫星遥感大数据 satellite remote sensing big data 从自然资源、生态环境、水利、气象、海洋、统计等部门和卫星运营机构获取的海量卫星遥感影像及处理产品数据。卫星遥感大数据管理服务 satellite remote sensing big data management service 基于云原生技术开发的卫星遥感大数据存储、管理、检索和下载服务。卫星遥感大数据处理服务 satellite remote sensing big data processing service 采用云原生技术，基于微服务架构设计，面向国内外主流光学、SAR遥感卫星数据的标准化产品生产、管理、调度及质检一体化服务。卫 星 遥 感 大 数 据 智 能 解 译 服 务 satellite remote sensing big data Intelligent interpretation service 采用云原生技术引入计算机视觉领域智能模型对遥感影像解译，实现影像分类、变化检测、目标检测等遥感服务。卫星遥感大数据可视化发布服务 satellite remote sensing big data visualization publishing service T/ZKJXX 000372023 2 基于云原生技术开发的遥感卫星大数据可视化发布及Web应用构建服务。4 缩略语 下列缩略语适用于本文件。API：应用程序编程接口（Application Programming Interface）DEM：数字高程模型（Digital Elevation Models）DOM：数字正射影像图（Digital Orthophoto Maps）DSM：数字表面模型（Digital Surface Models）JPEG：联合图像专家组（Joint Photographic Experts Group）OGC：开放地理空间信息联盟（Open Geospatial Consortium）PNG：便携式网络图形（Portable Network Graphics）SAR：合成孔径雷达（Synthetic Aperture Radar）TIFF：标签图像文件格式（Tag Image File Format）5 框架体系 框架组成 基于云原生的卫星遥感大数据服务应由云原生底座、卫星遥感大数据管理服务、卫星遥感大数据处理服务、卫星遥感大数据智能解译服务以及卫星遥感大数据可视化发布服务组成，服务框架见图1。公有云 私有云 混合云微服务DevOps容器化持续交付服务网络不可变基础设施声明式API云原生底座卫星遥感大数据管理服务对卫星遥感大数据进行存储管理原始数据基础数据服务产品数据入库管理数据存储管理数据统一访问卫星遥感大数据处理服务卫星遥感大数据智能解译服务实现卫星遥感大数据智能解译服务卫星遥感大数据可视化发布服务数据访问引擎（Restful API）数据发布面向卫星遥感大数据接口，实现各种访问数据库组件的插件式扩展；提供服务接口，支持海量并发用户情形下的高性能数据访问；提供数据访问缓存。实现卫星遥感大数据标准化产品生产、质检数字高程产品数字正射产品语义分割变化检测地图管理 图1 基于云原生的卫星遥感大数据服务框架 a)云原生底座：以微服务、容器化、DevOps、持续交付为核心的云原生技术，通过服务网络、不可变基础设施和声明式API，实现公有云、私有云、混合云的多云统筹布局，简化应用程序的部署和管理，构建统一数据管理、处理、发布、展示平台，推进整体业务运营系统的演进升级。具体如下：T/ZKJXX 000372023 3 1)微服务作为一种架构设计模式，以领域驱动设计(Domain Driven Design，DDD)为指导思想，以“高内聚松耦合”为拆分原则，将平台服务按照不同的业务领域拆分成不同的微服务，每个微服务内部可继续拆分成子领域；2)容器化采用分层技术，把应用及其相关依赖打包成一个轻量级、可移植的容器进行服务交付，实现开发、测试和生产环境的统一化和标准化，最大化使用服务器的软硬件资源，最终达到便捷的运行和使用效果；3)DevOps强调高效的团队组织，通过敏捷的自动化工具进行协作和沟通，将容器交付流程自动化，降低交付成本，帮助高效的团队组织完成软件的生命周期管理，从而更快、更频繁地交付更稳定的软件；4)持续交付是在不影响用户正常使用的前提下进行功能更新与产品迭代。b)卫星遥感大数据管理服务：采用大数据架构，构建时空数据统一管理，支持数据存储与处理各环节结果数据的存储管理和查询检索，实现对数据的统一高效存储管理。c)卫星遥感大数据处理服务和卫星遥感大数据智能解译服务：采用并行任务调度处理策略，实现卫星遥感大数据标准化产品生产、质检、智能解译等。d)卫星遥感大数据可视化发布服务：采用数据访问引擎技术，向下屏蔽数据库异构，向上提供标准的Restful服务接口，通过数据发布管理、在线地图管理等提供数据共享服务。业务逻辑关系 基于云原生的卫星遥感大数据服务业务逻辑关系见图2，其中：a)卫星遥感大数据处理服务和智能解译服务等数据处理系统根据计算需求，向卫星遥感大数据管理服务请求数据；b)卫星遥感大数据管理服务将按规则查询的数据反馈给卫星遥感大数据处理服务和智能解译服务等处理系统；c)处理系统进行处理与计算，并将处理结果反馈给卫星遥感大数据管理服务；d)卫星遥感大数据管理服务对处理结果存储管理，并将待发布数据推送给卫星遥感大数据可视化发布服务发布。卫星遥感大数据管理服务卫星遥感大数据处理服务卫星遥感大数据智能解译服务卫星遥感大数据可视化发布服务数据请求待处理数据处理结果待发布数据 图2 基于云原生的卫星遥感大数据服务业务逻辑关系 服务对象 T/ZKJXX 000372023 4 基于云原生的卫星遥感大数据服务对象可包括气象、海洋、水利、农业、林业、国土、减灾、环保等领域，服务用户类型可包括政府部门用户、企事业专业用户、大众用户等。服务方式 基于云原生的卫星遥感大数据服务宜提供下列方式：a)在线服务：可面向用户提供无处不在、透明的空间信息服务，用户可通过在线注册、登录享受即拿即用的高质量基础地图服务，并在线随时发现、获取、处理、解译、发布和享用智能的数据服务；b)离线服务：通过在自有环境下部署和搭建卫星遥感大数据服务平台，接入用户已有的多源异构数据，并基于平台数据管理、查询、检索、数据处理、智能提取、可视化发布等能力，享受遥感并行计算、专题地图制作以及数据共享发布等服务。信息安全 基于云原生的卫星遥感大数据服务信息安全应符合下列规定：a)安全要求根据数据源、用途确定；b)数据管理、处理、解译及可视化发布符合 GB/T 22239 中对云计算安全的有关要求，涉密信息不应在非涉密载体、网络中存储、处理和传递。6 管理服务 服务内容 管理服务内容应包括：a)提供卫星遥感大数据存储、管理、查询、下载等能力；b)通过构建数据组织管理目录，实现海量卫星影像管理、数据批量入库、数据查询检索、查询检索结果实时展示等功能。服务要求 6.2.1 功能指标应满足如下要求：a)具备多遥感平台、多传感器、多时相、多尺度影像数据的统一目录管理功能，提供对卫星遥感原始数据以及正射校正产品、融合产品、镶嵌产品等标准化产品的存储管理；b)具备空间查询和属性查询能力；c)支持影像覆盖范围和快视图浏览；d)支持 TB/PB 级别的可伸缩的存储配置。6.2.2 性能指标应满足如下要求：a)支撑不少于 100 个用户同时在线；b)支持并发数据入库，传输速率应大于 100 GB/h。7 处理服务 服务内容 处理服务内容包括：a)应针对多星多载荷等卫星遥感大数据提供全自动、高精度的智能快速处理能力；b)应支持卫星影像数据标准产品自动化、标准化处理；c)可支持用户在线查询处理进度；d)应与卫星遥感大数据管理服务对接，实现待处理数据的快速处理。服务要求 7.2.1 功能指标应满足如下要求：a)支持多荷载影像的标准影像产品处理；T/ZKJXX 000372023 5 b)支持原始卫星数据栅格数据、矢量数据格式；c)支持自动对原始影像从连接点生成、控制点生成、区域网平差、正射纠正、影像融合、真彩色输出、匀色镶嵌到标准分幅影像产品生成的全流程处理；d)支持全自动化生成DOM、DSM产品等标准影像产品；e)具有自动质检能力并生成质检报告；f)支持监控任务信息与日志信息，对任务进行管理。7.2.2 性能指标满足如下要求：a)标准影像产品如用于测绘生产相关应用，应符合GB/T 15968、GB/T 35642、CH/T 1015.2、CH/T 1015.3等对测绘生产的相关规定；b)单景影像处理效率应优于5 min/景；c)应支持100景以上数据的并行处理。8 智能解译服务 服务内容 智能解译服务内容应包括：a)具备自动化快速解译地物、目标等要素边界及变化检测能力；b)提供样本标注、模型自主训练等服务；c)内置目标识别、语义分割和变化检测等常用开源样本数据集，满足深度学习用户对样本的需求；d)内置水体、建筑物、道路等通用地物解译模型，内置通用变化检测模型以及车辆、飞机等目标检测模型。服务要求 8.2.1 样本标注指标应满足如下要求：a)支持100人以上协同作业；b)支持TIF、TIFF、JPG、JPEG、PNG等数据格式。8.2.2 模型训练指标应满足如下要求：a)具备模型训练能力；b)具备模型库管理能力；c)支持输出精度评价指标。8.2.3 模型部署指标应满足如下要求：a)基于预训练模型对模型自主训练；b)支持模型在线部署和API发布。8.2.4 智能解译指标应满足如下要求：a)提供包括遥感影像的单景解译及批量解译等在线智能解译能力；b)提供解译结果可视化展示的能力。9 可视化发布服务 服务内容 可视化发布服务内容应包括：a)支持遥感影像、地形数据等多源异构数据叠加融合显示，快速构建可视化应用场景；b)具备地图及图层操作、影像切片、动静态标准OGC服务发布、空间量算、三维场景等功能；c)将地球系统中多种要素信息直观表达；d)支持多源异构数据在统一时空下的综合显示、分析、发布及可视化。服务要求 9.2.1 功能指标应满足如下要求：a)支持接入加载影像数据、矢量数据和地形数据等时空数据；T/ZKJXX 000372023 6 b)支持按OGC的规范协议对影像、矢量数据动态发布和静态发布；c)具备对影像数据、矢量数据、DEM数据制作切片功能，切片后可实现数据发布，支持对发布成功数据的预览、删除、编辑等管理功能；d)具备地理信息空间分析能力，至少包括地表量算、空间量算等；e)支持面向不同应用场景提供二次开发接口。9.2.2 性能指标满足如下要求：a)1GB以内数据量014级切片时间不应超过1 h；b)地图服务切片过程中应无异常，切片结果应无缺失。T/ZKJXX 000372023 7 参考文献 1 GB/T 149112008 测绘基本术语 2 GB/T 176942009 地理信息 术语