食品检测大数据分析应用平台设计方案.pdf

食品检测大数据分析应用平台(汇报材料)2 1 背景概述 2015 年，国务院关于印发促进大数据发展行动纲要的通知正式发布，建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，实现基于数据的科学决策，将推动政府管理理念和社会治理模式进步。为此，食品药品监管部门及检验检测机构面临着巨大的机遇和挑战。随着大数据等技术的成熟，信息化建设的重心将逐步从信息技术向数据技术转化，未来信息化建设的重心将是如何对系统内的数据进行深入、多维、实时的挖掘和分析，以满足决策层的需求，推动信息化向更高层面进化。也就是说：“数据应用将成为信息化建设的核心”。2 平台目标 我国拥有机构庞大和数量巨大的各种各样的食品检验机构，包括国家、地方、高校、科研机构、企业和第三方检验机构等，每个机构都频繁进行与食品安全相关的检验、检测，拥有大量的检测数据。但机构之间相互独立，数据不能共享，成为一个个“信息孤岛”，造成资源的巨大浪费。食品药品监督局可以将这些“信息孤岛”所拥有的海量数据纳入食品检测大数据分析应用平台进行管理，为食品安全监管与预警分析提供决策支持，同时也可供研究人员、政府监管机构和消费者等查询使用。3 3 平台规划设计 食品检测大数据分析应用平台的总体架构设计如下：Web端手机和平板食品药品监督局展现层显示大屏业务应用层食品检测数据管理系统支撑层GIS地图引擎报表工具数据中心业务数据库分布式文件库数据预处理食品检测数据标准体系企业服务总线ESB平台安全管理广电计量华测谱尼SGS.食品抽样、检测、报告数据数据接口层数据采集接口数据预统计食品抽检智能分析系统食品检验报告分析系统GIS展现系统食品药品监督局 4 3.1 搭建大数据分析应用基础平台 3.1.1 搭建大数据分析应用基础平台，为食品检测数据挖掘提供平台基础 利用业界成熟、先进的 IT 技术，搭建大数据分析应用基础平台。对于基础资源架构，采用云计算模式进行建设，实现 IT 基础资源的最大化利用，提供最优的计算资源、存储资源。对于结构化的食品检测数据采用 RDBMS 进行存储，对于非结构化的食品检测数据采用 Hadoop 或 Spark 技术实现分布式文件存储和处理。Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS 放宽了（relax）POSIX 的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数据提供了存储，则 MapReduce 为海量的数据提供了计算。3.2 建立食品检测数据标准体系 3.2.1 建立食品检测数据标准体系，对食品检测涉及各类型数据进行整合 我国拥有数量庞大的各种各样的食品、药品检验机构，包括政府设立的实力雄厚的科研机构和高等院校院所、企业、第三方检验机构等。每个机构每天都频繁进行着食品（保健食品）、药品、化妆品、医疗器械等与质量安全相关的检验、检测，产生大量的检测数据,彼此之间很难实现信息共享。建设食品检测大数据分析应用平台，必须先实现食品检测数据标准体系的建立，依托标准对食品检测涉及各类型数据进行整合，包括 5 实验室仪器设备数据、组织与人员数据、客户订单业务数据、食品样品抽样数据（包括任务来源、被抽样单位、被抽样单位地址及经纬度信息、样品生产地、生产企业、样品属性、日期、批号、数量等内容）、样品检测原始数据、样品检测分析数据、样品检测检验报告以及样品留样数据等等，在食品检测数据标准体系下进行数据的规范、清理和预处理。可以对标准化后的数据进行维护，对数据的有效期进行管控。同时，加强数据的管控，在整个平台范围内优化数据标准，健全原始数据管理，增强数据的一致性。3.3 食品抽检数据智能分析 3.3.1 实现食品抽检数据的深度分析和智能提示 对于食品检测数据，从抽检角度出发，可以按照食品种类、分期数范围、时间范围进行查询，比如可以查询 2016 年大米 1 到 8 期的抽检情况，查询结果可以按照 1 到 8 的顺序进行排列输出。针对单期的样品信息抽检明细要求。采样单位：采样人：采样时间：2016 年 12 月 2 日至 2016 年 12 月13 日 序号 样品编号 样品名称 包装采购/散装 生产单位 生产单位 生产日期 规格 采样场所 采样场所地址 市区 业态类型 运输温/湿度 生产厂家所属省份 生产厂家所属地级市 食品细类（四级）采购/现场制作（产地）（产地）地址/批号 县乡 6 针对多期的样品信息抽检汇总要求。1-5 期 抽样信息统计 食品细类（四级）生产厂家所属省份 所属地级市 生产单位（产地）生产单位（产地）地址 商标 单价 抽样数 前四期总数 占比 省份总占比 抽样期 包装 类型 备注 针对企业、食品种类抽样，可以分析其抽样重复率，超过设定的重复率，就可以预警。在食品抽样环节，可以根据食品种类、同个批次、同个企业进行异常检测判别。可以按区域、食品种类进行汇总统计，比如。区域 品种 乔楼镇 贾峪镇 刘河镇 金寨回族乡 王村镇 汜水镇 城关乡 高山镇 豫龙镇 崔庙镇 广武镇 高村乡 京城办事处 索河办事处 月饼 白酒 冰糖 淀粉 淀粉制品 蜂蜜 糕点 挂面 含乳饮料 啤酒 葡萄酒、果酒、配制酒（露酒）大米、糯米 7 区域 品种 乔楼镇 贾峪镇 刘河镇 金寨回族乡 王村镇 汜水镇 城关乡 高山镇 豫龙镇 崔庙镇 广武镇 高村乡 京城办事处 索河办事处 水产动物类罐头 速冻（水饺、汤圆、速冻面米食品）糖果、果冻 香辛料 植物油 畜肉 豆芽 干制食用菌 黄豆、红豆、绿豆类 鸡蛋 禽内脏 禽肉 生湿面制品 蔬菜 水产 杂粮 合计(批次)8 3.4 食品检验报告数据分析 3.4.1 食品检验报告数据的多维度统计分析 对不合格品的问题类别进行明细统计，不合格品数据汇总。不合格产品信息汇总表（第 1 页 共 1 页）序号 样品编号 样品名称 采样场所 采样地址 生产单位 生产单位地址 生产日期/批号 规格 检测机构 不合格项目 检出值 限量值 判定标准 生产厂家所属省份 生产厂家所属地级市 食品细类（四级）3.4.2 提供“分类统计”和“比对分析”食品检验报告数据的多维度分析，提供“分类统计”和“比对分析”，从检出率、超标率、合格率三个核心维度，按时间、客户、样品产地、抽样地、样品、种类、检测项目等维度组合分析，结合图表直观展现；建立对任务超期、仪器检定超期、留样到期的预警提示。进一步可以利用线性回归、聚类等模型进行深度挖掘，实现历史数据趋势分析、不合格样品的分布特征分析。3.4.3 食品安全隐患及时发布预警 食品检测数据是风险研判和实施科学监管的重要技术依据，食品检测大数据分析应用平台对检测发现的可能存在的食品安全隐患及时发布预警，从而达到早期预防和控制食品安全事件。依托食品检测大数据分析应用平台建立食品安全预警模型。9 3.5 食品检测数据 GIS 分析 3.5.1 引入 GIS 技术实现食品检测数据地理分析 实现基于 GIS 的食品抽样点地理分布图、食品种类抽样地理分布图、不合格品地理分布图，并组合相关条件进行查询；实现基于 GIS的样品抽样点位频度、检出率、超标率、合格率热力图，并通过关联相关统计结果，可以直观表现食品的质量安全总体状况，有助于对食品安全高风险区域加强监管。可以按照抽样期数在 GIS 查看某类食品种类的抽样次数和抽样企业的分布情况。3.6 标准化数据采集方式 3.6.1 基于 webservice 的标准化数据接口 通过平台开放 webservice 的标准化数据接口，有信息化系统的食品检测机构可通过调用该接口来上报数据到平台。3.6.2 基于 web 窗口的数据导入方式 通过平台开放给食品检测机构的 web 窗口，按照指定的格式要求食品检测机构定时导入相关数据到平台。