DANA智能数据开发平台 v3.0.pptx

《DANA智能数据开发平台 v3.0.pptx》由会员分享，可在线阅读，更多相关《DANA智能数据开发平台 v3.0.pptx（41页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、韩欣18616900805H2003年数据存储2009年涉足数据安全2011年资本重组数据管理产品供应商未来，为大数据实现数据智能1212年的年的年的年的专专注：数据注：数据注：数据注：数据存储存储管理管理价值价值2014年A轮1.2亿规模数据智能内部用户我们人开发者您决策外部用户追溯事物流程风控设备世界n荣誉资质n中国软件协会2014优秀软件（DANA）n2014国家科技部重大支撑（物联网）n2015国家科技部重大支撑（养老云）n2015上海市软件和集成电路产业专项资金n双软及高新n2014年上海创业之星3强n众多数据领域项专利及软件著作权n中国软件协会AAA信用单位n2015德勤高科技高成

2、长中国50强n涉及领域n金融数据审计（宜信财富）n医卫知识管理（华西医院及中日友好医院）n高清视频监控（福建电信）n智能档案管理（沈阳档案馆及四川省委）n教育检索门户（新疆师范大学及甘肃中医学院）n融合媒体大数据（SMG）n军用数据管理（XX军及XX舰队）n大数据应用（贵阳交管局“数据铁笼”）n大数据平台（贵阳交通大数据孵化器）n大数据交易（贵阳低碳指挥中心）n行业准入n军密证书/涉密证书n公安三所/电信研究院入围n央采/中直机关采购入围媒体涉密医疗、教育政府、企业电信、金融存储存储 超融合超融合 大数据大数据 开发平台服务开发平台服务1、软件及硬件2、存储及计算3、数据结构及文件5、私有云及

3、公有云6、PaaS开发平台及应用发布平台4、数据收集及分析六大融合数据智能开数据智能开发者服者服务智能网智能网络存存储统一一应用存用存储分布式集群分布式集群超融合数据管理平台超融合数据管理平台块存储分布式对象存储(S3,Swift,S4)分布式文件系统NAS 标准协议关系数据库数据数据处理与理与计算算（Data Process）Cayman非结构数据仓库NoSQL(Mongodb,KV)图存储关系数据存关系数据存储（DBMS）大数据存大数据存储（DATA STORES）数据分析数据分析（Data Analysis）数据集成数据集成（Data Integration）应用框架用框架（Applic

4、ation Framework）日志收集ETL文件收集器传输中间件Eagles检索分析引擎Leopard媒体处理Eel流媒体Dodo任务调度实时流计算Spark内存计算框架分析类库(Mlib,mhout)识别引擎mmfs分布式内存文件系统OpenStack+KVMDocker+k8s+registry Spider缓存服务DANA Family V3.0Crab收集引擎YaK 资源管理Eagles搜索引擎统一用户IaaS基础服务PaaS平台服务DaaS数据服务SaaS应用服务 Moa对象存储 Boa块存储 Fox文件存储Stork数据引擎Seal缓存引擎Zebra日志引擎Eel流媒体引擎Leo

5、pard处理引擎Dodo调度引擎Cougar识别引擎Phoenix消息引擎Swallow流程引擎数据开放服务数据地图服务 数据分析服务数据可视化DATRIX数据管理舆情监控系统视频监控通讯服务提供计算、存储资源池提供大数据开发常用工具以数据为服务DANA Manager 提供安装、部署、管理、监控、运维、告警和统一访问控制、开发、调试 平台集成集成管理管理处理理计算算分析分析ETL数据库抽取LogAgent实时数据采集PC服务器端WEB端移动端数据库端API文件转码关键帧细粒度权限音视频分离音频转文本OCR识别特征提取相似度检测全文件预览非结构化引擎全文检索数据对象化监控报表流式任务Spark

6、 内存计算批处理定时任务流程任务关系分析聚类统计情感分析语义分析2500+more API存存储对象存储块存储分布式文件系统Nas存储数据库NoSQLCacheDANA平台接口开发部署上线应用开发与数据底层设计分离从前端到后台支持10种开发语言成熟API及集成工具减少开发量超融合架构替代传统4S方案性能及容量Scale Out扩展按需部署边开发边应用可能不改变原有业务系统完整IAAS运维工具集成数据大统一架构效率提升，功能丰富规模可扩上线时间极大缩短Infinity Distributed StorageFile SystemVolumeObjectOpenStackHypervisorskv

7、m&QemuContainersKubernetesOSlib/binOSlib/binlib/binlib/binVMApp1App2App3CentOSCentOSCentOSCentOSIaaSPaaSIaaSSaaSVMApp4DANA 超融合智能数据开超融合智能数据开发平台平台DANA 多租户DANA融合一体化数据开融合一体化数据开发平台平台租租户1租租户2EaglesCrabDODOBoaEaglesCrabDODOBoaStorkStorkDANADANA 核心核心服务详解服务详解ETL数据抽取数据转换数据 调度原始数据数据质量管理元数据管理数据装载分流可视化配置实时流数据处理文

8、件收集全局监控Dodo 任务调度Eagles搜索库Stork数据库网页爬虫消息队列分析、展现ETL ScriptETL ScriptETL ScriptETL Script1.支持高达1000+节点的扩展，单卷空间 100PB；2.性能和容量随节点数线性增长。3.K+M纠删码，副本安全策略4.支持对象存储、文件系统、Volume；5.兼容Amazon S3,Openstack Swift 标准的RESTFul对象访问接口；6.私有对象存储API,支持随机读写，客户端挂载Infinity数据在线扩展，数据自动恢复分布式文件系统无元数据管理Share-Nothing分布式设计运维统计分析Web管理

9、审计安全高带宽文件系统服务对象存储服务，无缝对接公有云服务Volume服务，支持云平台集成PostgreSQLPostgreSQL 集群集群分布式对象存储分布式对象存储SealSeal 缓存服务缓存服务NoSQLNoSQL存储存储1.1.分布式文件系统分布式文件系统2.2.集群集群NASNAS高热数据结构化数据非结构化数据EaglesEagles半结构化数据INFINITYPostgreSQL(主库：读/写)PostgreSQL(备库：只读)PostgreSQL(备库：只读)读写分离应用程序Steam ReplicationDODO分布式任分布式任务调度度-适用于大规模并行批处理作业的分布式任

10、务引擎Job ManagerTaskExecuterTaskExecuterTaskTaskExecuterTaskExecuterTaskJob1Job2Job3Job4Job5finish工作流任务管理控制台TaskTaskEAGLES 检索分析引擎索分析引擎1.对称分布式集群架构,高一致性、高可用2.索引数据分片存储3.SQL 兼容查询接口4.Schema-Free5.支持常用聚类分析算法 6.支持与 Hadoop Spark,Hive,HBase等对接7.跨平台8.亿级数据秒级响应功能特点功能特点P3P4P1P3P2P1EAGLES Clusternode1node2node3node

11、4P4P2Eagles检索引擎控制台EAGLES 应用用场景景全文检索NoSQL数据库大数据分析地图检索图像检索CAYMAN非结构化仓库海量存储数据汇聚多维管理数据价值收集工具API安全高效高性能自定义属性全文检索高并发生命周期策略流程统计报表聚类分析基本信息人物信息其他xx相关信息对象数据建模p每个属性视为多维空间空间的一个轴p无限维度，无限扩展,Schema-Freep属性变化自动更新索引p每个维度可独立查询p按各种视图组织对象数据p事件也可作为对象p数据关系灵活度更高空间信息多种方式（API、SDK及LogAgent接入服务）的日志写入通过LogAgent自由定义日志的收集以及解析方式，

12、支持超过160种数据源支持GB/秒级别的日志实时收集及快速处理能力，从日志收集到可查询的延时在1分钟内提供海量（PB级别）日志的集中存储，且存储期限可按需配置提供实时、灵活(支持查询语法）的日志查询能力简单易用的控制台,所有操作都可以在Web端完成LogAgent监控、抓取接入识别过滤可靠传输Log控制台项目日志库1日志库2日志库3日志库4日志库5 项目2用户应用RESTFul API归档Moa 对象存储Infinity/Nas 存储特性：特性：Zebra 日志服务器LogStore业务系统融合平台汇聚媒资收录制作播出REST APINFS/CIFSHTTP StreamMoa(S3/Swif

13、t/DANA)源数据转码合成信息提取特效Eel流媒体服务器集群Leopard媒体处理p人脸检测和捕获p人脸识别对比p建模和检索p活体检测p图像质量检测Dolphin大数据分析引擎数据智能数据智能 成就您的业务成就您的业务多租户保障数据收集数据收集层内部内部业务系系统数据库系统手工上传数据文件类系统外部数外部数据来源据来源Web上传数据接口机公民移动上传移动执法终端物联网数据分分布布式式计算算存存储资源源自自动化采化采集及集及过滤DATATOM大数据平台大数据平台DAASPAASIAAS数据库ETL文件收集器流式引擎读写API规则过滤统一身份及一身份及权限限认证统一认证全局留痕强制鉴权加密防泄数

14、据数据处理理及索引及索引转码时空化内容识别全维度建模对象化数据流程数据流程定定义挖掘及智挖掘及智能分析能分析推荐引擎系统分析报表服务虚拟目录视图相关性分析全局消息自定义流程数据审计大数据大数据应用用层SAAS个人个人执法法诚信档案信档案违规行行为告警系告警系统公共公共执法法数据公开数据公开.租租户统一一视图混合云部署混合云部署交管国土运管信访交通大数据数据孵化器交通大数据数据孵化器APISDKDATATOM：融合大数据管理技术提供商SMARTOR、NEUTRINO、INFINITY、DATRIX合作伙伴及渠道研发型合作伙伴行业用户伙伴产品合作伙伴及渠道DANA数据运数据运营平台平台交易、保交易

15、、保险、分析、分析、监管、挖掘管、挖掘国家重大科技支撑专项：基于健康物联网的健康服务信息平台及应用（2014）医养结合的养老云服务平台研发及应用示范（2015）专利：一种基于零碰撞散列算法的网络精简传输实现一种分布式集群存储元数据切片和保护方法采用双硬盘读写操作的数据备援方法一种基于NoSQL的海量媒体数据存储方法一种基于语义的智能媒体调度引擎一种基于帧图像特征的高性能图搜视频引擎一种基于高维度搜索引擎实现的可变数据管理模型一种基于块数据的分布式视频转码系统论文：跨节点纠错码在云存储中的应用利用同步技术确保制作数据安全自媒体时代的快速发布平台竞争力平台方案产品数据智能 Copyright 2011-2015 DATATOM CO.,Ltd.，