基于微服务的数据服务框架设计_欧阳荣彬.doc

《基于微服务的数据服务框架设计_欧阳荣彬.doc》由会员分享，可在线阅读，更多相关《基于微服务的数据服务框架设计_欧阳荣彬.doc（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第 卷 增刊 年 月 华 中 科 技 大 学 学 报 （ 自 然 科 学 版 ） （ ） ： 基于微服务的数据服务框架设计 欧阳荣彬 王倩宜 龙新征 （ 北京大学计算中心 ， 北京 ） 摘要 为了克服传统数据服务平台协议复杂 、 体 量庞大 ， 在扩展性和易维护性方面都存在的不足 ， 提 出了一种 基于微服务的数据服务框架 框架分离了微服务容器和服务源 ，采用轻量级的跨平台协议 ，在容器中通过两种 类型（原生型和代理型）的微服务与服务源中的微服务连接起来 ，达 到解耦合 、去中心化和服务泛在的目的 此 外还分析了框架的重要特征 ，阐述了技术方案中的若干要点 北京大学的实践表明 ：基于该框架建设

2、的数据服 务平台 ，易 于扩展 、便 于运行维护 ，可以实现更加灵活的数据共享 关键词 数据服务 ； 微服务 ； 数据即服务 ； 代表性状态传输 ； 开放授权协议 中图分类 号 文献标志 码 文章编 号 （ ） （ ， ， ， ） ， ， ， ， ： ， ， ， ， ， ， ， ； ； （ ）； （ ）； “ 数据即服 务 （ ， ）” 是 近 来在云服务 领 域的一个热 点 ， 它 将原来云服务 架 构中的数据 部 分单独拆分出 来 ， 将数据存储和 数 据处理的功 能 进行服务 化 ， 以 期 实现云环境的 下 的数据共 享 高等院校信息化经历了数十年的历 程 ， 事 实 上已经积累了大量

3、的数据 随着 信息化进程的不 断推进 ， 生成数据的终端应用越来越多 ， 积累的数 据量也越来越大 如何挖掘和发 挥这些数据的价 值 ？ 一般认为 ， 在数据的基础上提供云服务 ， 是一 种有效手段 然而 ， 建设一个物理上统一的数据中 心 ， 并 提供数据服务 ， 需 要 重复的硬件投入 这 种 中心化应用建设 ， 由 于其体量庞大 ， 在 扩展性 、 灵 活性和易维护性等方面都存在先天不足 微 服务 的一个重要特性就是解耦合 、 去中心化 ， 可以有效 应对这些问题 本文设计 了 一 种 基 于 微 服 务的数据服务框 架 ， 实现基于微服务的 参照该 框架 ， 利 用微 服务的先天特性

4、， 建设一个易扩展 、 便于运行维护 的数据服务平台 ， 可以实现更加灵活的数据共享 收稿日 期 作者简 介 欧阳荣 彬 （ ） ， 男 ， 高 级工程 师 ， ： 增刊 欧阳荣 彬 ， 等 ： 基于微服务的数据服务框架设 计 相关研究 文献 提 出了一种通用的跨平台数据共享 方案 ， 采用 描述数据元信息 ， 指 出数据使用 方首先需要认证 ， 然后才能访问 数据提供方提供 的数据服务 ， 但 是对于认证过程的具体要求和建 议方案并未进一步阐述 文献 分析了云服务下 的特性 ， 着重阐述了如何拆分数 据存储和数 据处理 ， 但是没有提及数据服务的具体模式 微服务是数据服务的一种有益的 模 式

5、 ， 它 的 解耦合 、 去中心 化等特性非常有利于数据服务的 扩展和便捷运行维护 文献 详细阐述微服务的 特征 ， 文献 对微服务架构和其他的软件结构进 行分析和对比 微服务在很多在 线应用中有非常 成功的应用 ， 例如文献 将微服务应用于度量系 统， 文献 将 安全服务也以微服务的形式提供 文献 重点探讨了微服务的验证问题 数据服务框架 建设数据服务平台 ， 是 打破 壁 垒 、 消 除 孤 岛 、 实现数据共享的一种有效手段 传统的数据服务 平台多是 建 设 于 一个物理上统一 的数据中心之 上 ， 基于 架 构 ， 构建服 务 总线提供数据服 务 这样 “ 重量型 ” 的数据服务平台

6、， 与数据中心一 起形成了一个数据堡垒 ， 随着时间的推移 ， 它的缺 陷越来越明显 首先是可扩展性差 如 果要增加一项 的 数 据 服务 ， 那么须要将源数据交换至数据中心 ， 然后定 义好数据 ， 最 后实现部署这项新的 数据服务 ， 协议复杂 ， 上线周期长 更有甚者 ， 如果 要丰富原来一项数据服务的信息内容 ， 那 么须要 修改原来定义好的数据 ， 这 必然会 影响已经在使用这项数据服务的 应用 其次是运行维护复杂 若 某一项数据 服 务 存 在 ， 在修正之后 ， 须要部署整个 平台应用 由 于其体量庞大 ， 更新部署必然会 影响到其他的正 常的数据服务 微服务的解耦合 、 去中心

7、化等特性 ， 非常有利 于数据服务的扩展和便捷运行维护 微 服务之间 是松耦合的 ， 可以实现自动部署 ， 一项服务的更新 和部署不会影响其他的服务 此外 ， 微服务采用的 都是轻量级的协议 （ 如 ， 即 ） 和 数 据 格 式 （ 如 ， 即 ）， 非常易于扩展 主要内容 如图 所示 ， 基 于微服务的数据服务 框 架 主 要由五大部分组成 ： 服 务源 ， 微 服务容器 ， 服 务发 布组件 ， 服务发现组件和服务门户 图 数据服务框架 服务源是 为 数 据 微 服 务 提 供支撑的信息来 源 ， 也是数据微服务的实际提供者 这些服务源分 别为微服务容器中的原生型微服务和代理型微服 务提

8、供支撑 网 络信息源包括网络上的各类非结 构化信息 ， 传统网络服务是 指支持 协议的 网络服务 （ 即 ）， 它 们 与 关 系 型 数 据 源一起为原生型微服务提供支撑 服 务源中的另 一类微服务 ， 则 为容器中的代理型微服务提供支 撑 ， 它 是运行在 其他在线服务容器中的一个承担 实际功能的数据微服务 微服务容器是框架的核心组成部分 ， 所 有 数 据微服务都在这个容器中运行 这些微服务大致 可以划分为原生型微服务和代理型微服务两种类 型 原生型微服务是指承担实际功能的 ， 从数据源 或者信息源中获取数据 ， 并加以处理的数据服务 代理型微服务是服务源中的微服务在容器中的一 个代理

9、，承担实际功能的是服务源中的微服务 这 种代理型的微服务使得数据服务框架具有了一个 很重要的特征 自生长 为了适配微服务容器 ， 代理型的微服务除了代理功能 外 ， 还 必须具有安 全授权和安全审计等功能 微服务容器中的安全 套件具有授权 、 监控和审计等功能 ， 为容器中的所 有微服务提供服务 服务发布组件是为其他在线服务容器提供服 务的 一项数据 服务部署在其他的在线服务容器 之后 ， 可以通过服务发布组件 ， 将该服务发布在数 据服务门户平台中 ， 平台 将自动生成一项代理型 微服务 ， 代 理该数据服务 当 然 ， 这 项数据服务须 要具有微服务的特征 ， 遵循相应的规范和协议 服务发

10、现组件为服务使用者提供服 务 ， 服 务 门户则为服务使用者提供统一的访问入口 重 要特征 本文所述的数据服务框架具有如下一些显著 华 中 科 技 大 学 学 报 （ 自 然 科 学 版 ） 第 卷 特征 数据即服务 如文献 所 述 ， 是 云 服 务 环 境 下 的 另 外一种服务模型 ， 它侧重于数据 存储和处理的服 务化 ， 忽略业务逻辑和业务状态转换 本文所述数 据服务框架 充 分 体 现 了 要 求 ， 将 数 据 服 务 化 ， 服 务组件化 ， 实 现充分的共享 ， 充 分发挥和发 掘数据的潜在价值 微服务架构 本文所述数据服务框架是 基于微服 务 的 ， 它 具有微服务架构的一

11、系列特征 ， 例如服务组件化 、 轻量级 、 松耦合 、 去中心化 、 跨平台 ， 等等 组件是一个可独立替换和独立升级的软件单 元 ， 组件化软件的主要方式是分解成服 务 服 务 组件化的一 个 重大优势就是便于运行维 护 传 统 应用也是通 过 不同组件构 成 ， 但 是任何一个组 件 变更都必须重新部署整个应 用 若分解成服 务 ， 则 单个服务的变更只须要重新部署该服务即 可 不同于传统 的 基 于 协 议 和 的 网络 服 务 ， 微 服务 使 用 的协议都是轻量级的 ， 如 和 ， 直接通过 请求进行通信 微服务使用的这些协议也都是跨平台的 ， 同时 ， 跨 平台的数据微服务可以实

12、现异构数据的共享 微服务之间充分的松耦合 ， 这 种去中 心 化 的 治理模式 ， 在数 据存储层面让每个服务管理自己 的数据库 ， 或者同一数据库技术的不同实例 ， 或完 全不同的数据库系统 最终 ， 可以让使用这些微服 务组装成的应用系统也是去中心化数据存储 ， 更 能适应需求变化 开放及规范 基于本文所述框架建设的平台是开 放 的 ， 允 许任何经过授权的应用发现和使用数据服 务 ， 也 允许任何经过授权的应用发布新的数据服务 一个开放的平台有利于数据的充分 共 享 ， 为 了实现充分的开放 ， 所有服务的接口都应当是规 范的 ， 但是这种 规范是已有通信协议的轻量级规 范 ， 例如 的

13、 通 信 规 范 、 的 格 式 规 范 、 的安全 规 范 ， 等 等 平 台 本身不应产生新 的规范 ， 只是一个轻量级的平台 ， 如此可以实现便 捷的数据共享 当然 ， 具体某项微服务的数据项的 格式和含义 ， 由微服务自身定义 ， 这应当是个性化 的 服务自生长 基于开放的特征 ， 任何应 用只要经过授权 ， 都 可以使用数据服务 ， 也可以发布数据服务 而且由 于数据微服务是组件化的 ， 应用 可以依据具体的 需求 ， 组装已有的数据服务 ， 按照规范实现新的数 据服务 ， 在自己的容器中部署运行 ， 并通过平台发 布 如 此循环往复 ， 可 以实现服务的自生长 ， 进 而 实现更加

14、充分的数据共享 技术方案要点 本文所述框架采用的技术方案 ， 大 致 包 括 三 个要点 ： 轻 量级的通信规范 ， 开 放的授权协议 ， 以 及简捷的服务代理 通信规范 框架中的数据微服务通信采用 协议 ， 数据 格式采用 ， 这些都是轻量级的规范 ， 即代表性状 态传输 ， 它是传统的基于 和 的 网络 服务的更为简单的 替 代 方法 纯 粹 的 网 络 服 务 ， 应 该 遵 循 如 下 四个基本设 计 原 则 ： 显 式 地 使 用 方 法 ， 无 状态 ， 公开目录结构式的 ， 传 输 和 ， 或同时传输这两者 当 然 ， 更大的意 义在于其至简的设计哲学 ， 它完全是轻量级的 ，

15、不 产 生 新 的 协 议 ， 而是采用通用的简单通信 协议 （ ）， 更易于被接受和广泛应用 微服务的 数 据 格 式 均 采 用 ， 这 是 一 种 轻量级的数据交换格式 每一项为服务的结果 数 据都应明确定义两种格式 ， 一是正常格式 ， 二是异 常格式 异常的格式可以统一规范 ， 为了数据的可 读性和便于异常处理 ， 有两项内容是必须的 ， 即异 常代码和异常信息 开放授权 跨平台 、 跨应用之间的数据共享 ， 安全授权非 常重要 ， 需要确保数据被安全可靠的共享 ， 不允许 未经授权的数据访问 是一 种 专 门 针 对 跨 平 台 的 应 用 之 间 授权而设计的框架协议 ， 其整体

16、思路是通过跨 应 用之间的重定向 ， 让用户显式而明确的参与授 权 过程 ， 并且保护 用 户关键的凭证信 息 （ 如 口 令 ） 不 被第三方接触 到 在 其 版本 中 ， 虽 然为 了 更好的兼容 各 种应用系统而设计了多种模 式 ， 但 其 标 准 模 式 与 版 本 中 的 设 计 依 然 基 本 一 致 本文框架建议每一项数据微服务的授权都基 于 协议实 现 ， 然 而 ， 由于微服务使用者可 能不只是 网 页 应 用 （ 即 ）， 所 以 在具体实现中不应当只是浏览器重定向方式 ， 也 可以校验码的方式实现 ， 而校验码则通过邮件 或 者短信等第三方渠道发送至用户端 服务代理 代理

17、型微服务是本文框架中一类重要的数据 增刊 欧阳荣 彬 ， 等 ： 基于微服务的数据服务框架设 计 微服务 ， 通过这 类服务可以将其他系统的数据服 务集中统一提供 ， 框架只是承担了一个代理功能 ， 同时使得数据微服务更加泛在 ， 更加去中心化 然而要实现这种代理型服务 ， 必 须确 保 源 服 务的规范性和数据格式的一 致 性 ， 规 范 与 数据格式 是 一 个 很 好 的 选 择 在 这 个 前 提 下 ， 代理型微服务只需实现代理的适配功能 ， 做到 一个代理几 乎可以适配所有情形 如此 ， 便捷的服 务代理可以被新的源服务使用而发布成新的数据 微服务 ， 从而实现服务的自生长 原型实

18、现 “ 北京大学信息服务开放平台 ” 基于本文所述 框架设计和实现 ， 平台主要由开发者中心 、 管理中 心和微服务容器构成 ， 如图 所示 开发者中心用 于开发者注册应用和注册需要发布的服务 ； 管 理 中心用于开发者应用审核 、 发布服务审核 、 服务授 权审核等 按照访问权限划分 ， 运行在微服务容器 中的数据服务大致分为以下三类 图 信息服务开放平台 公共信息服务 ， 提供 如通知公告类的公共 信息 ， 无须个人授权 ， 任何通过审核的注册应用都 可以访问 ； 个 人信息服务 ， 提 供属于个人的相关信息 （ 如个人课表等 ）， 需要个人明确授权 ； 受限信息服务 ： 介于 公共和个人

19、之间的信 息 ， 无须个人授权 ， 但须要对注册应用进行访问授 权 这三类服务都包含框架中 “ 原生型微服务 ” 和 “ 代理型微服务 ” 例如公共信息服务中的 “ 最新通 知公告 ” 属于 “ 原生型微服务 ”， 它是通过访问办公 系统中源服务实现的 ， 而办公系统中的源服务是 基于 的 传 统 网 络 服 务 ；“ 研 究 生 招 生 专 业 信息 ” 则属于 “ 代理型微服务 ”， 它代理了学生系统 中提供的一项数据微服务 目前 “ 北 京 大 学 信 息 服 务 开 放 平 台 ” 共 提 供 项公共信 息 服 务 ， 项 个 人 信 息 服 务 ， 项 受 限信息服务 ， 面 向全校

20、各个应用平台和应用开发 者开放校内信息服务 结语 高校信息化在数 据服务平台方面的建设经验 表明 ， 传 统数据服务平台协议复杂 ， 体 量庞大 ， 在 扩展性和易维护性方面都存在不足 本 文提出了 一种基于微服务的数据服务框架 ， 利 用微服务的 先天特性 ， 使 得服务之间松耦合 ， 平 台易扩展 、 便 于运行维护 ， 数据共享灵活 本文阐述了框架的主 要内容 ， 重点阐 述了框架中微数据服务可能的实 现类型 原生型 微服务和代理 型 微 服 务 ， 并 在 此基础上分析了框架的一系列重要特征 ： 数 据即 服务 、 微 服务架构 、 开 放及规范和服务自生长 ， 具 体描述了实现框架的

21、技术方案中的若干要点 综合本文所述框架的内容和特征以及 “ 北 京 大学信息服务开放平台 ” 的实践 ， 可以认为基于该 框架建设的数据服务平台 ， 易于扩展 ， 便于运行维 护 ， 可以实现更加灵活的数据共享 参 考 文 献 ， ， ， ， ： ， ： ， ， ， （ ） ， ， ： ， ： ， ： ， ， ， ， ， （ ） ： ， ， （ ） ： ， ： ， ， 华 中 科 技 大 学 学 报 （ 自 然 科 学 版 ） 第 卷 ： ， ： ， ， ： ， （ ） ： ， ， ： ， ： ， ， ， （ ） ： ： （ ） ， ： （ ） ， ， ， ： （ ） ， ， ： ： （ ）

22、， 檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪 檪檪檪檪檪檪檪 （ 上接第 页 ） 参 考 文 献 龚 林红 校 园 一 卡 通 资 金 的 财 务 核 算 与 核 对 问 题 研 究 武 汉 理 工 大 学 学 报 ： 信 息 与 管 理 工 程 版 ， ， （ ） ： 孙 彩 英 ， 马 杰 “ 校 园 一 卡 通 ” 在 高 校财务管理信息 化 建设中的应 用 消 费导 刊 ， （ ） ： 王 娟 校园一卡通与高校财务管理 现 代 经 济 信 息 ， （ ）： 刘 瑞 浅探校园一卡通平台下高校财务管理模式的 构建 行政事业资产与财务 ， （ ）： 叶

23、 镒娟 ， 徐 锋 ， 程 艳 旗 基于电子账户的新 一 代 校 园 卡支付体系的设计 华 东 师 范 大 学 学 报 ： 自 然 科 学 版 ， （ ） ： 杨 彦 ， 唐 继 强 ， 林 已 杰 校园一卡通系统资 金 安 全 检 测方法的研究 中 国公共安全 ： 学 术版 ， ， （ ） ： 张 慧 琳 ， 佟 秋 利 ， 程 志 锐 基 于 卡的校园卡 系 统 第 三 方 消 费 应 用 集 成 方 案 实 验 技 术 与 管 理 ， ， （ ） ： 徐 业军 非接触式 卡终端防拔处理方法 金 卡 工 程 ， （ ） ： 佟 秋 利 ， 张 慧 琳 卡 或 成 主 流 中 国 教 育 网 络 ， （ ） ： 陈 军 校园一卡通财务风险管理研究 财 会 通 讯 ， （ ） ：