空间大数据技术架构及应用剖析.pdf

深入剖析易智瑞空间大数据技术架构及应用目录1.产品简介2.产品能力3.应用场景目录1.产品简介2.产品能力3.应用场景智能化空间大数据时代已经来临城市级手机信令数据，每天超过10亿条城市级车辆运行轨迹数据，每天超过1亿条国家级国土三调矢量数据超过1TB省级气象观测数据，每月超过2亿条省级生态红线数据单个要素节点数超过100万个某市测绘院遥感影像数据累计超过3PB易智瑞空间大数据分析产品架构桌面Web设备门户GIS 服务器服务器软件 JavaScript API 客户端开发软件 应用开发接口空间大数据高级分析软件矢量大数据实时空间大数据获取和分析软件实时大数据影像大数据平台软件影像大数据地理信息模型交互式在线分析软件数据科学 位置追踪 影像工作流 室内地图 城市规划 户外办公 室内办公 公众参与 应用构建器 平台桌面软件 桌面软件 地理赋能应用 通用应用 专业应用数据数据服务运维监控管理软件（基础GIS服务能力）针对大规模的具有空间位置信息、时间属性信息的矢量数据，以及表格数据进行分布式计算和处理的平台级产品。分布式计算能力数据处理能力洞察挖掘能力机器学习能力空间大数据高级分析软件|矢量大数据分析空间大数据高级分析软件|大数据分析工具数据汇总位置查找模式分析邻近分析数据管理点聚合要素连接轨迹追踪属性汇总范围内汇总构建多值段网格密度计算热点分析空间聚类查找相似位置事件检测地理编码拷贝数据字段计算追加数据空间叠加裁剪数据边界融合数据合并创建缓冲区空间赋能从多变量网格丰富数据描述数据集基于森林的分类回归广义线性回归空间大数据高级分析软件|分析流程门户Web GIS Layers新的 Web GIS 图层平台内部数据关系型数据库时空大数据库服务器集群FilesFilesHDFS文件HIVE外部数据平台桌面软件门户空间智能软件Python云存储1234空间大数据高级分析软件|使用流程（portal）1.数据清洗2.数据注册3.选择工具4.选择数据5.设置参数6.执行分析7.查看分析进程（可选）8.查看分析结果目录1.产品简介2.产品能力3.应用场景多源数据接入多种存储方式直观直观监控监控地理赋能数据洞察数据训练数据预测易智瑞空间大数据分析产品能力数据追踪数据计算2.智能分析1.数据连接1.数据连接1.多源数据接入2.多种存储方式空间大数据分析产品能力|多源数据接入Feature serviceBig data file share接入分析数据源形式：接入形式数据源格式CSVShapefileParquetORC源数据格式：存储类型NFS、CIFSHDFS、HiveAmazon S3Azure Data Lake源数据存储类型：空间大数据分析产品能力|存储能力平台内部数据关系型数据库时空大数据库FilesFilesHDFS文件HIVE接入数据云存储FilesFilesHDFS文件外部数据云存储数据存储数据分析2.智能分析直观直观监控监控地理赋能数据洞察组合应用数据预测数据追踪数据计算1.描述数据集工具2.构建多变量格网工具3.事件检测工具4.字段计算工具5.随机森林的分类与回归工具：6.Run Python Script123456描述数据集工具：以全局的视角洞察时空数据实现宏观描述数据分布态势细粒度侦查数据结构深入解构数据时间、空间、属性信息空间大数据分析产品能力|1.数据洞察构建多变量格网工具：多元数据地理赋能对不同类型数据（点线面）联合 分析，最终构建出具有丰富信息的格网由多到一了解数据的接近性和分布与最近要素的距离最近要素属性临近要素属性统计相交要素属性统计空间大数据分析产品能力|2.地理赋能空间大数据分析产品能力|3.数据追踪事件检测：对数据进行时间、空间上的联合分析实现使用指定条件检查时间顺序特征应用事件条件识别起止时间判断一段时间内连续发生字段计算工具：通过构建Arcade表达式计算数据现有字段或新字段数学计算空间计算（距离、面积、拓扑关系）时间计算（当前时间前的某段时间内的平均速度）空间大数据分析产品能力|4.数据计算能力随机森林的分类与回归工具：实现数据的建模训练和预测 从局部预测整体 从现在预测未来空间大数据分析产品能力|5.数据预测模型训练数据关联一致性预测结果训练数据结果字段预测数据实现预测Run Python Script：通过Python去调用ArcGIS大数据分布式计算框架。实现工具串联，模型定制。大数据分析工具串联自定义扩展新工具空间大数据分析产品能力|组合能力实例数、任务执行状态监控提供任务访问地址空间大数据分析产品能力|任务监控目录1.产品简介2.产品能力3.应用场景应用应用场景场景国土变化监测现状分析交通交通出行农业全国农作物生长发育适宜性评价警情波士顿交通事故分布预测电力电力巡检易智瑞空间大数据分析产品应用场景空间大数据分析产品应用场景|国土空间规划应用1.土地利用现状分析需求：如果在某区域规划一条道路，会压盖哪些地类？压盖的面积是多少？技术点：千万级国土数据叠加分析，根据地类名称计算用地面积耗时：秒级2.土地利用变化监测：需求：空间变化、属性变化、未变化均输出技术点：几何对象裁切、属性叠加空间大数据分析产品应用场景|国土空间规划应用电力巡检时空大数据分析需求：历时五年电力巡检数据，分析出何地、何时，A、B、C三相电之和超过额定电流负载？空间大数据分析产品应用场景|电力全国农作物生长适宜性评价需求：全球范围内哪些区域适合种植烤烟技术点：矢量大数据与栅格大数据相结合空间大数据分析产品应用场景|农业空间大数据分析产品应用场景|警情波士顿交通事故分布预测需求：预测波士顿交通事故分布情况技术点：随机森林分类与回归空间大数据分析产品应用场景|交通交通出行大数据分析需求：通过手机信令数据实现获取人员出行轨迹及流向技术点：轨迹追踪2017，ArcGIS 10.5，Spark框架，14个分析工具2014，ArcGIS 10.3，Hadoop框架2018，ArcGIS 10.6，Spark框架，17个分析工具2019，ArcGIS 10.7，Spark框架，24+个分析工具，可扩展接口