大能源思维与大数据思维的融合_一_大数据与电力大数据_薛禹胜.docx
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_1.gif)
![资源得分’ title=](/images/score_05.gif)
《大能源思维与大数据思维的融合_一_大数据与电力大数据_薛禹胜.docx》由会员分享,可在线阅读,更多相关《大能源思维与大数据思维的融合_一_大数据与电力大数据_薛禹胜.docx(12页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、 年 推出 专刊 后不久 , 专刊 阐 述 了 大 数 据 对 科 学 研 究 的 重 要 性 。 , 分析了大数据的影响 、 关键 第 卷 第 期 年 月 日 , : 大能源思维与大数据思维的融合 ( 一 ) 大数据与电力大数据 薛禹胜 , 赖业宁 ( 南瑞集团公司 ( 国网电力科学研究院 ), 江苏省南京市 ) 摘要 : 大能源思维将电力视为能源生产 与 消 费 全 流 程 中 的 枢 纽 环 节 , 藉 此 推 动 上 游 一 次 能 源 的 清 洁替代与下游终端能源的电能替代 , 支撑能源的可持续发展 。 大 数 据 思 维 将 各 种 数 据 资 源 从 简 单 的处理对象转变为生产
2、的基础要素 。 这两种思维的融合 , 使电力大数据成为大能源系统广泛互联 、 开放互动及高度智能的支撑 , 包括 : 广域多时间尺度的能源数 据 及 相 关 领 域 数 据 的 采 集 、 传 输 和 存 储 , 以及从这些大量多源异构数据中快速提炼出深层知识并 发 挥 其 应 用 价 值 。 作 为 两 篇 论 文 中 的 开篇 , 在演绎大数据基本概念 、 结构类型及本质特征的基 础 上 , 归 纳 电 力 大 数 据 的 特 点 。 针 对 综 合 能源 , 通过基于数学模型的因果型数据 、 无因果关系的统计型 数 据 以 及 参 与 者 博 弈 型 数 据 的 融 合 , 构建信息能源
3、系统的知识挖掘平台 。 其续篇将讨论信息能源系统 , 并通过若干案例 , 反映大数据思 维对提高大能源经济性与可靠性的贡献 。 关键词 : 信息能源系统 ; 能源互联 ; 因果型数据 ; 统计型数据 ; 博弈型数据 ; 非结构型数据 ; 知识 提取 引言 现代产业与信息技术的发展使数据资源成为越 来越重要 的 生 产 要 素 。 爆 炸 式 增 长 的 数 据 量 对 多 源 、 异构 、 高维 、 分布 、 非确定性的数据及流数据的采 集 、 存储 、 处理及知识提取提出 了挑战 。 大数据思维 就是此环境中的产 物 , 它 并 不 局 限 于 传 统 的 基 于 因 果关系的逻辑推理 研
4、究 , 甚 至 更 多 地 通 过 统 计 型 数 据的搜 索 、 分 类 、 比 较 、 聚 类 、 关 联 等 的 分 析 和 归 纳 , 关注数据集内隐藏 的 相 关 性 ( 支 持 度 、 可 信 度 、 关 注 度 )。 图灵奖得主吉 姆 格 雷 将 这 种 数 据 密 集 型 的 研究范式从理论科学 、 计算科学 、 实验科学中分离出 来 , 成为 “ 第四范式 ” 。 文献 将大数据计算称为商务 、 科学和社会领域的 革命 性 突 破 。 年 , 的 同年 , 麦肯锡公司发布关于大数据的竞争力 、 创新力 技术及应用领域 , 进 一 步 燃 起 学 术 界 和 产 业 界 对 讨
5、 论大 数 据 的 热 情 。 美 国 政 府 于 年 月 宣 布 投 资 亿美元启动 “ 大 数 据 研 究 和 发 展 计 划 ” , 将 其 上升为国家战略 。 大 数 据 被 认 为 是 继 物 联 网 、 云 计 算之后 , 行业又一次颠覆性的技术变 革 。 云计算是利 用 互 联 网 实 现 随 时 、 随 地 、 按 需 、 便 捷地访问共享资源 池 ( 如 计 算 设 施 、 应 用 程 序 、 存 储 设备等 ) 的计算 模 式 , 关 注 计 算 能 力 , 并 与 关 注 知 识提取的大数据技术相得益彰 。 电力是社会发展的重要基础 。 随着全球能源形 势的日益严峻 ,
6、各国 大 力 开 展 了 智 能 电 网 的 研 究 和 实践 。 其目标是 建 设 一 个 覆 盖 整 个 电 力 生 产 过 程 , 包括 发 电 、 输 电 、 变 电 、 配 电 、 用 电 及 调 度 等 环 节 的实时系统 , 以支撑电网的安全 、 自愈 、 绿色 、 坚强及 可靠运行 。 而 其 基 础 则 是 电 网 广 域 全 景 实 时 数 据的采集 、 传输 、 存储 、 分析及决策支持 。 而愿景中的电网则是网架坚强 、 广泛互联 、 高度 和生产力的调研报告 智能 、 开放互动的 智 能 电 网 。 文 献 分 析 了 智 能 电网大数据的产生 与 特 点 , 指 出
7、 已 有 的 数 据 处 理 技 收稿日期 : 。 国家自然科学基金重点资助项目 ( ); 中英合作研究 项目 ( ); 中 泰 合 作 研 究 项 目 ( ); 国家电网公司科技项目 。 术在智能电网的数 据 存 储 、 处 理 和 展 示 等 方 面 所 面 临的 挑 战 , 已 成 为 智 能 化 发 展 的 制 约 因 素 。 文 献 探索了基于云计算的智能电网信息平台的可 靠存储和高效管理 。 文献 研究了用户侧电力消 : : 一次能源的清洁替代与 终 端 能 源 的 电 , 需要具备从 不 同 类 型 的 多 值 ( ) 。 “ 量 ” 是 指 数 据 容 量 足 够 大 ; “
8、类 ” 是 ( ( ( , () 信息能源系统 费的大数据 , 从中挖掘其用电行为 , 以改进需求响应 系统 。 以电为核心的大能源体系正在成为全球能源的 指数据种类呈现多 源 多 态 特 性 ; “ 速 ” 是 指 实 时 性 要 求高 ; “ 值 ” 是指 数 据 价 值 密 度 相 对 较 低 。 在 数 月 的 监控视 频 中 , 可 能 仅 的 画 面 有 用 , 但 通 过 关 发展战略 联数据的挖掘 、 分析和提取 , 却可能获得很高的信息 能替代都必须依靠 电 网 的 输 送 才 能 大 规 模 地 实 现 。 文献 指 出 , 电 力 可 靠 性 问 题 的 顶 层 设 计
9、应 该 以 大能源观为指导 , 不能局限于电力系统自身 , 还要分 析其与一次能源 、 外 界 环 境 、 管 理 政 策 、 用 户 需 求 与 方式变化间的交互 , 研 究 广 义 阻 塞 对 电 力 系 统 安 全 性与充裕度的影响 。 电力 、 能源及广义环境的多源 、 多态及异构数据 的数量呈指数级增长 , 需要有相应的广域采集 、 高效 存储和快速处理技术予以支撑 。 而从这些数据中挖 掘知识及价值应用则使电力大数据的话题融入大数 据的研究热潮 。 本文及其续文是笔者关于如何将电 力大数据的思 维应 用 到 电 力 的 广 义 可 靠 性 、 大 能 源 安全及环境安全方面的思考
10、。 大数据概念的演绎 定义 对 “ 大数据 ” 还没有统一的定义 , 通常指量大 、 多 源 、 异构 、 复杂 、 增长迅速 , 无法用常规的方法处理的 数据集合 。 许 多 数 据 往 往 只 在 统 计 学 观 点 上 具 有某种相关性 , 而不 一 定 像 传 统 应 用 的 数 据 那 样 具 有严谨的因果关 系 。 对 这 样 的 统 计 关 系 型 数 据 , 只 有当反映一个真实问题的数据量达到能在一定程度 的统计意 义上描述 其 真 实 面 貌 时 , 才 能 有 效 地 提 取 知识 , 支持决策 。 而 对 于 常 规 的 因 果 关 系 型 数 据 来 说 , 数量的大
11、小往往仅影响到计算资源 , 而与提取知 识的方法关系不大 。 因此 , 大数据与小数据之间并无绝对的界限 , 而 是相对于目标问题而言的 。 大规模的数据量只是大 数据概念的特征之 一 , 也 不 应 该 用 海 量 的 规 模 作 为 大数据的必要条件 。 大数据技术 涵 盖 了 从 信 息 产 生 、 采 集 、 存 储 、 转 换 、 集成 、 挖掘 、 分析 、 计算 、 展示 、 应用及维护等数据 价值 。 一 般 认 为 , 数 据 规 模 或 复 杂 程 度 超 出 了 常 用 技 术按照合理的成本 和 时 限 来 处 理 的 能 力 , 就 可 称 为 大数据 。 笔者认为如果
12、统计型数据量对于具体目标 问题来说 , 已经具有统计意义 , 就可以用大数据思维 来处理 。 若为 大 数 据 设 立 数 百 的 阈 值 , 必 将 大 数据思维束之高阁 , 扼杀了其广泛应用的生命力 。 除了 从 因 果 、 统 计 及 博 弈 等 数 据 关 系 的 视 角 来 对数据类型分类外 , 还 可 以 按 数 据 结 构 的 视 角 将 其 分为三种类型 : 结构化数据 , 即可以用二维表结构 来逻辑表达的行数 据 , 关 系 型 数 据 库 是 其 有 效 处 理 工具 ; 非结构化数据 , 是一类不能用有限规则完全 表征与刻画的异构性数据 , 如图像 、 音频和视频等信 息
13、 , 它们之间不存在直接的因果关系 , 存在不相容性 及认知的不一致性 ; 半结构化数据 , 介于上述两种 结构 之 间 的 数 据 , 可 以 用 树 、 图 等 模 型 表 达 , 如 、 办公文档及电子邮件等信息 。 据统计 , 随着社 交网络 、 传感物联及移动计算等新技术 、 新渠道的不 断涌现 , 企业中的半 结 构 化 或 非 结 构 化 数 据 占 比 越 来越大 , 有的已达 。 思维方式 大数 据 技 术 的 思 维 方 式 是 : 将 采 集 到 的 经 验 与 现象实现数据化与规律化 , 在继承传统的统计学 、 计 算数学 、 人工智能 、 数 据 挖 掘 等 方 法
14、的 基 础 上 , 从 单 一维度转向多维度 统 筹 融 合 , 开 发 知 识 处 理 的 新 方 法 , 从更深刻的视角 , 以更高的时效发掘多源异构数 据 , 从而发 现 新 知 识 和 新 规 律 , 并 实 际 应 用 的 方 法 学 。 若可以用简单的表达式直接描述某问题的结果 与 变量之间的关系 , 那么即使其数据量很大 , 也不一 定属于大数据思维 。 当数据之间没有或还不能严格 描述其因果关系 , 而数据集已相对地具备统计意义 , 全生命周期管理过程 就需要并可以采 用 大 数 据 思 维 来 处 理 。 例 如 : 对 于 源异构数据中 , 快速提炼出有价值信息的能力 。
15、基本特征 数据是以编码形式对自然现象 、 社会现象 、 试验 仿真结果及经验的记录 , 包括数字 、 文字 、 图像 、 声音 等形式 。 与传统数 据 相 比 , 大 数 据 具 有 四 大 显 著 特 征 , 即量 )、 类 )、 速 )、 一个市场调查的数 据 集 , 如 果 仅 仅 求 取 人 群 对 某 种 商品的需求分布 , 那 么 思 维 方 法 并 不 会 因 为 数 据 集 是否海量 , 而改 变 常 规 的 数 据 处 理 思 维 。 但 如 果 要 从人群对该商品众多技术 、 经济 、 全程服务特性等各 方面要求中提炼出有助于提高企业竞争能力的决策 支持 , 那就需要有新
16、的思维方法 , 包括信息挖掘与利 用的思维 、 模式及方法 , 以帮助人类获得更深刻的洞 , 只 是 其 结 论 的 可 信 度 可 能 受 到 影 。 其挑战主 。 分 ( 察力 。 关注 统 计 关 系 的 思 维 方 法 , 同 样 可 以 应 用 于 有 薛禹胜 , 等 大能源思维与大数据思维的融合 :( 一 ) 大数据与电力大数据 的相关性来发展统 计 学 , 有 效 地 表 达 高 维 随 机 变 量 函数的联合概率分布 。 限数据 集 上 用以发现知 识 的 技 术 有 : 遗 传 算 法 、 神 经 网 络 、 响 。 大数据技术的挑战 大数据的采集与集成 利用各种传感器及终端
17、 , 采集反映物理世界 、 市 场经济与人类行为等现象的静态 动态的异构数据 , 数据 挖 掘 、 专 家 识 别 、 回 归 分 析 、 聚 类 分 析 、 关 联 分 析 、 数 据 融 合 、 机 器 学 习 、 自 然 语 言 处 理 、 情 感 分 析 、 空间分析 、 时间 序 列 分 析 及 其 他 计 量 学 方 法 。 一 个 例子 是 采 用 机 器 学 习 和 神 经 网 络 来 分 析 服 务器群的数据 , 掌 握 大 量 变 量 之 间 的 交 互 。 神 经 网 成为人 、 机 、 物 三 元 世 界 的 信 息 纽 带 络在无显式编程下 自 适 应 学 习 , 大
18、 大 提 高 服 务 器 群 要体现在 : 从结 构 化 数 据 为 主 , 向 结 构 化 、 半 结 构 化与非结构化的三 者 融 合 的 变 革 ; 数 据 来 源 的 多 样化 , 特别是移动终端的广泛应用 , 使大量数据需要 同时带有时间与空 间 的 标 志 ; 有 用 信 息 被 淹 没 在 大量无 关或弱相关 的 数 据 中 , 或 需 要 处 理 低 质 量 及 局部缺损的数据 。 大数据的存储 大量多态异构数据的高效 、 可靠 、 低成本存储模 式是大数据的关键 技 术 之 一 , 对 多 源 多 态 数 据 流 之 间的交互索引与转换效率影响很大 。 数据压缩技术可以减少数
19、据传输量及提高存储 的效率 , 发现普通人注意不到的复杂互动关系 。 随着大数据的应用从离线走向在线 , 甚至实时 , 所面临的系统复杂 性 、 数 据 复 杂 性 和 计 算 复 杂 性 挑 战更为严 峻 。 目 前 虽 然 出 现 了 一 些 较 为 有 效 的 方 法 , 如流处理 模 式 、 批 处 理 模 式 , 及 两 者 的 融 合 , 但仍未有 一 个 相 对 普 适 的 ( 准 ) 实 时 的 分 析 处 理 框 架 , 在合理精确性的前提下实现快速的随机优化 。 大数据的易用性 易用性应该 贯 穿 在 大 数 据 的 集 成 、 存 储 、 计 算 、 分析 , 乃 至 展
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 能源 思维 数据 融合 电力 薛禹胜
![提示](https://www.taowenge.com/images/bang_tan.gif)
限制150内