DB6111∕T 197-2023 智慧农业园区数据处理技术规范(杨凌区).pdf

ICS 3 5.2 4 0.7 0CCS B 0 7DB61111杨 凌 农 业 高 新 技 术 产 业 示 范 区 地 方 标 准D B 6 1 1 1/T 1 9 7 2 0 2 3智 慧 农 业 园 区 数 据 处 理 技 术 规 范T e c h n i c a l S p e c i f i c a t i o n s f o r D a t a P r o c e s s i n g o f I n t e l l i g e n tA g r i c u l t u r e P a r k s2 0 2 3-0 4-2 7 发 布 2 0 2 3-0 5-2 7 实 施杨 凌 示 范 区 市 场 监 督 管 理 局 发 布D B 6 1 1 1/T 1 9 7-2 0 2 3I前 言本 文 件 按 照 G B/T 1.1 2 0 2 0 标 准 化 工 作 导 则 第 1 部 分：标 准 化 文 件 的 结 构 和 起 草 规 则 的 规 定起 草。本 文 件 由 西 北 农 林 科 技 大 学 信 息 工 程 学 院 提 出。本 文 件 由 杨 凌 示 范 区 农 业 标 准 化 技 术 委 员 会 归 口。本 文 件 起 草 单 位：西 北 农 林 科 技 大 学（信 息 工 程 学 院、信 息 化 管 理 处）、陕 西 省 农 村 科 技 开 发 中 心、杨 凌 耘 尚 田 园 网 络 科 技 有 限 公 司、杨 凌 乾 泰 电 子 科 技 有 限 责 任 公 司、杨 凌 现 代 农 业 产 业 标 准 化 研 究 推 广服 务 中 心。本 文 件 主 要 起 草 人：刘 斌、耿 楠、蒲 攀、周 兆 永、张 宏 鸣、李 书 琴、黄 铝 文、刘 运 松、耿 耀君、李 梅、张 海 曦、卫 星、邓 希 廉、李 皓、马 军 妮、文 立 红。本 文 件 首 次 发 布。D B 6 1 1 1/T 1 9 7-2 0 2 31智 慧 农 业 园 区 数 据 处 理 技 术 规 范1 范 围本 文 件 规 定 了 基 于 物 联 网 系 统 的 智 慧 农 业 园 数 据 处 理 的 相 关 术 语 和 定 义、处 理 流 程 及 技 术 要 求。本 文 件 适 用 于 智 慧 农 业 园 的 数 据 规 范 处 理、数 据 分 析、数 据 可 视 化 管 理。2 规 范 性 引 用 文 件下 列 文 件 中 的 内 容 通 过 文 中 的 规 范 性 引 用 而 构 成 本 文 件 必 不 可 少 的 条 款。其 中，注 日 期 的 引 用 文 件，仅 该 日 期 对 应 的 版 本 适 用 于 本 文 件；不 注 日 期 的 引 用 文 件，其 最 新 版 本（包 括 所 有 的 修 改 单）适 用 于 本文 件。G B/T 3 6 3 4 4-2 0 1 8 信 息 技 术 数 据 质 量 评 价 指 标G B/T 3 7 0 2 5-2 0 1 8 信 息 安 全 技 术 物 联 网 数 据 传 输 安 全 技 术 要 求Q X/T 6 2 8-2 0 2 1 常 规 高 空 气 象 观 测 数 据 处 理 方 法3 术 语 和 定 义下 列 术 语 和 定 义 适 用 于 本 文 件。3.1农 业 大 数 据 b i g d a t a o f a g r i c u l t u r e在 农 业 生 产、经 营、管 理、服 务 等 环 节 中 产 生 的 海 量 的，具 备 多 样 性、高 增 长 率、真 实 性 及 一 定 价值 的 数 据 集。3.2数 据 处 理 d a t a p r o c e s s i n g为 从 大 量 杂 乱 无 章、难 于 直 接 理 解 的 数 据 中 抽 取 并 推 导 到 对 特 定 人 群 有 价 值、有 意 义 的 信 息，而 进行 的 数 据 采 集、存 储、检 索、加 工、变 换 和 传 输 等 活 动。3.3数 据 增 强 d a t a a u g m e n t a t i o n一 种 为 提 升 数 据 利 用 价 值，用 有 限 数 据 创 造 出 尽 可 能 多 有 用 信 息 的 数 据 扩 充 技 术。3.4监 测 预 警 m o n i t o r i n g a n d e a r l y w a r n i n g通 过 监 测、汇 集、抽 取 相 关 信 息 数 据，结 合 风 险 评 估 分 析，将 可 能 出 现 的 结 果 直 观 展 现 给 决 策 者，提 醒 作 出 预 先 处 置 的 活 动。3.5特 征 衍 生 f e a t u r e d e r i v a t i v e s利 用 现 有 的 数 据 特 征，组 合 构 建 出 新 的 数 据 特 征 的 技 术 手 段。也 称 特 征 构 建。3.6特 征 选 择 f e a t u r e s e l e c t i o n按 系 统 特 定 指 标 最 优 化 目 标，从 原 始 特 征 中 选 择 出 最 有 效 特 征 的 过 程。也 称 特 征 子 集 选 择 或 属 性 选择(A t t r i b u t e s e l e c t i o n)。D B 6 1 1 1/T 1 9 7-2 0 2 324 处 理 流 程4.1 数 据 预 处 理4.1.1 数 据 清 洗4.1.1.1 检 验 重 复 性 数 据 需 要 根 据 具 体 场 景、数 据 特 点 和 问 题 需 求，确 定 重 复 性 数 据 的 定 义、检 验 方法 以 及 工 具，并 记 录 检 验 结 果。4.1.1.2 异 常 值 采 用 删 除、替 换、离 群 值 检 测 等 方 法 处 理。其 中 离 群 值 检 测 可 以 采 用 箱 线 图、3 准 则、聚 类 等 统 计 方 法 处 理。4.1.1.3 重 复 值 采 用 删 除、合 并、标 记 等 方 法 处 理。其 中 合 并 可 以 采 用 相 似 度 匹 配、聚 类 等 方 法 处 理。4.1.1.4 不 一 致 值 采 用 规 范 化、转 换、匹 配 等 方 法 处 理。其 中 规 范 化 可 以 采 用 大 小 写 转 换、数 据 类 型转 换 等 方 法 处 理。4.1.1.5 格 式 不 一 致 采 用 规 范 化、转 换、格 式 化 等 方 法 处 理。其 中 规 范 化 可 以 采 用 格 式 化 字 符 串、正则 表 达 式 等 方 法 处 理。4.1.1.6 噪 声 数 据 处 理 包 括 但 不 限 于 以 下 方 法：a)采 用 分 箱 法、聚 类 法、回 归 法 等 处 理 噪 声 数 据。b)采 用 分 箱 法 将 原 始 数 据 划 分 为 若 干 区 间，统 计 每 个 区 间 内 的 样 本 数 量 并 计 算 样 本 占 比，然 后平 滑 处 理 每 个 区 间 的 样 本 占 比，将 平 滑 后 的 数 据 作 为 处 理 后 的 结 果，用 于 后 续 的 分 析 和 建 模。c)采 用 聚 类 法 根 据 一 定 的 相 似 性 度 量 分 组 原 始 数 据，计 算 每 个 组 的 中 心 点，并 根 据 中 心 点 重 新分 配 数 据 点 到 各 个 组 中，迭 代 执 行 上 述 步 骤 直 到 满 足 停 止 条 件 为 止。最 终 得 到 的 聚 类 结 果 可以 用 于 分 析 和 建 模，去 除 噪 声 数 据 对 后 续 分 析 和 建 模 的 影 响。d)采 用 回 归 法 包 括 建 立 一 个 回 归 模 型，通 过 拟 合 已 知 数 据 的 函 数 关 系，预 测 未 知 数 据，并 评 估和 调 整 预 测 结 果，得 到 更 准 确 的 预 测 结 果。在 建 立 回 归 模 型 时，需 要 去 除 或 修 正 噪 声 数 据，提 高 模 型 的 预 测 精 度。4.1.1.7 清 洗 处 理 的 数 据 再 次 传 输 应 符 合 G B/T 3 7 0 2 5-2 0 1 8 的 安 全 传 输 规 定。4.1.1.8 高 空 气 象 数 据 的 处 理 应 符 合 Q X/T 6 2 8-2 0 2 1 的 规 定。4.1.2 数 据 补 全a)均 值/中 位 数/众 数 填 充：对 于 数 值 型 数 据，可 以 使 用 均 值、中 位 数 或 众 数 来 填 充 缺 失 值。b)固 定 值 填 充：对 于 某 些 特 殊 的 数 据，可 以 使 用 固 定 值 来 填 充 缺 失 值。c)向 前/向 后 填 充：对 于 时 间 序 列 数 据，可 以 使 用 向 前 或 向 后 的 值 来 填 充 缺 失 值。d)插 值 法 填 充：可 以 使 用 插 值 法 来 填 充 缺 失 值，例 如 线 性 插 值、多 项 式 插 值 等。e)建 模 预 测 填 充：可 以 使 用 其 他 变 量 建 立 模 型，预 测 缺 失 值。4.1.3 数 据 融 合采 用 深 度 学 习 模 型 提 取 多 个 数 据 源 的 数 据 信 息 特 征（园 区 小 气 候 数 据、种 植 环 境 数 据、图 像 数 据 和农 技 知 识 数 据），融 合 特 征 级、决 策 级，提 升 数 据 的 有 效 性 和 准 确 性。4.1.4 数 据 变 换4.1.4.1 图 像 数 据 按 照 目 标 程 度 划 分 为 一 般 或 严 重 状 态，通 过 数 字 图 像 处 理 技 术 生 成 充 足 的 数 据 集，按 照 3:1:1 的 比 例 划 分 为 训 练 集、验 证 集 和 测 试 集。4.1.4.2 园 区 小 气 候 数 据 和 种 植 环 境 数 据，采 用 特 征 衍 生 和 特 征 选 择 作 预 处 理。特 征 选 择 分 别 基 于 最大 信 息 系 数 的 最 小 冗 余、最 大 相 关 指 标 过 滤 粗 筛 特 征，再 基 于 嵌 入 法 选 择。D B 6 1 1 1/T 1 9 7-2 0 2 334.1.5 数 据 规 约应 在 保 证 数 据 集 完 整 性 的 基 础 上，简 化 数 据 集，包 含 但 不 限 于 以 下 方 面：a)维 度 规 约：即 将 数 据 的 维 度 降 低，减 少 数 据 中 不 必 要 的 属 性，降 低 数 据 集 的 复 杂 度。常 用 的维 度 规 约 方 法 有 主 成 分 分 析（P C A）和 线 性 判 别 分 析（L D A）。b)数 值 规 约：即 将 数 据 的 数 值 范 围 缩 小，减 少 数 值 间 的 差 异，降 低 数 据 集 的 复 杂 度。常 用 的 数值 规 约 方 法 有 归 一 化 和 标 准 化。c)属 性 规 约：即 从 数 据 集 中 选 择 出 最 具 有 代 表 性 和 区 分 性 的 属 性，剔 除 无 关 或 冗 余 的 属 性，减少 数 据 集 的 复 杂 度。常 用 的 属 性 规 约 方 法 有 逐 步 回 归 法 和 决 策 树 算 法。d)数 据 压 缩：即 通 过 压 缩 算 法 去 除 数 据 集 中 的 冗 余 信 息，减 少 数 据 集 的 复 杂 度。常 用 的 数 据 压缩 方 法 有 哈 夫 曼 编 码 和 L e m p e l-Z i v 算 法。e)随 机 抽 样：即 从 数 据 集 中 随 机 选 择 部 分 数 据 作 为 样 本，通 过 分 析 处 理，减 少 数 据 集 的 复 杂 度。常 用 的 随 机 抽 样 方 法 有 简 单 随 机 抽 样 和 分 层 抽 样。4.2 数 据 分 析应 建 立 在 计 算 机 机 器 学 习 基 础 上。被 分 析 的 数 据 质 量 按 照 G B/T 3 6 3 4 4-2 0 1 8 的 规 定 评 价，评 价 合 格的 数 据 分 析 结 果 为 有 效 分 析 结 果。分 析 技 术 包 括 但 不 限 于：a)描 述 性 统 计：通 过 对 数 据 的 描 述 性 统 计 分 析，了 解 数 据 的 基 本 情 况，包 括 中 心 趋 势、离 散 程度、分 布 形 态 等 等。b)探 索 性 数 据 分 析：通 过 可 视 化 和 统 计 分 析 探 索 数 据 之 间 的 关 系 趋 势，为 后 续 建 模 和 分 析 做 准备。c)假 设 检 验：用 于 检 验 数 据 之 间 是 否 有 显 著 差 异，判 断 是 否 拒 绝 某 个 假 设。d)回 归 分 析：用 于 分 析 自 变 量 和 因 变 量 之 间 的 关 系，建 立 回 归 模 型，预 测 因 变 量 的 变 化 趋 势。e)聚 类 分 析：将 数 据 分 成 若 干 类 别，同 一 类 别 内 的 数 据 相 似 度 较 高，不 同 类 别 之 间 的 数 据 相 似度 较 低。f)主 成 分 分 析：将 多 个 变 量 合 并 成 少 数 几 个 新 变 量，保 留 原 始 变 量 的 大 部 分 信 息，以 减 少 维 度。g)时 间 序 列 分 析：用 于 分 析 时 间 序 列 数 据，找 出 趋 势、季 节 性 和 周 期 性 等 规 律，预 测 未 来 的 变化 趋 势。h)关 联 规 则 挖 掘：从 数 据 中 发 现 频 繁 出 现 的 模 式 和 关 联 关 系，如 超 市 商 品 的 购 买 关 系。i)决 策 树 分 析：基 于 样 本 数 据 建 立 决 策 树 模 型，通 过 选 择 属 性 值，逐 步 筛 选 出 目 标 属 性 预 测 值。j)神 经 网 络 分 析：用 人 工 神 经 网 络 模 拟 人 脑 处 理 信 息 的 过 程，进 行 数 据 建 模 和 预 测 等 操 作。4.3 数 据 可 视 化数 据 分 析 与 预 测 结 果 应 以 图 像、图 表 的 直 观 方 式，展 示 数 据 所 蕴 含 的 信 息、规 律 与 趋 势，并 可 实 现交 互 式 处 理。a)明 确 对 象。通 过 数 据 的 来 源、属 性，明 确 可 视 化 的 具 体 对 象。b)可 视 化 映 射。应 选 择 直 观 的、易 于 理 解 的 方 式，将 数 据 蕴 含 的 信 息 呈 现 给 用 户。宜 使 用 的 数据 图 表 包 括 但 不 局 限 于 饼 图、柱 形 图、折 线 图、条 形 图 等，图 表 应 包 含 必 要 的 说 明 注 释。c)用 户 感 知。可 视 化 后 的 数 据，应 具 备 通 过 与 可 视 模 块 间 的 交 互，实 现 主 动 获 取 信 息 的 功 能。