2022边缘计算视觉基础设施白皮书.docx

边缘计算视觉基础设施白皮书2022年4月 边缘计算视觉基础设施白皮书目录1. 边缘计算及视觉产业发展背景31.1 边缘计算产业发展情况31.2 视觉产业发展情况51.2.1 工业领域机器视觉发展概况51.2.2 安防监控领域视觉发展概况71.2.3 体验交互领域视觉发展概况81.2.4 其他领域视觉发展概况101.3 边缘视觉产业发展现状112. 边缘视觉典型应用场景及需求142.1概述142.2 工业领域机器视觉应用场景及需求142.2.1 工业领域边缘视觉发展概述142.2.2 工业领域典型应用场景152.2.3 工业领域的未来挑战202.3 安防监控领域视觉典型应用场景及需求212.3.1 安防监控领域边缘视觉发展概述212.3.2 安防监控领域典型应用场景222.3.3 安防监控领域的未来挑战292.4 体验交互领域视觉典型应用场景及需求312.4.1 体验交互领域边缘视觉发展概述312.4.2 体验交互领域典型应用场景332.4.3 体验交互领域的未来挑战363. 边缘视觉基础设施技术总体架构373.1 边缘视觉标准进展情况373.2 边缘视觉基础设施技术架构384. 边缘视觉技术的应用实践40边缘计算视觉基础设施白皮书4.1工业高可靠性视觉质检404.1.1案例背景与需求404.1.2实施方案404.1.3实施效果414.2无人机 8K+AI 的精细化巡检424.2.1案例背景与需求424.2.2实施方案424.2.3实施效果434.3电力远程视频自动巡检434.3.1案例背景与需求434.3.2实施方案444.3.3实施效果454.4VR 全景视角超高清采编播464.4.1实施背景与需求464.4.2实施方案464.4.3实施效果475. 边缘视觉技术及应用发展展望495.1问题与挑战495.1.1边、端侧系统定制化严重495.1.2边侧系统封闭形成数据孤岛495.1.3数据安全防护面临挑战495.2发展倡议50缩略语列表52511. 边缘计算及视觉产业发展背景1.1 边缘计算产业发展情况2015 年 8 月，ETSI 第一次提出了 MEC 的验证框架（Proof of Concept Framework），经过多年的演进，相关标准体系也逐渐清晰。ETSI 定义 MEC 意义在于将边缘计算从 IOE 的视角扩展到 ICT 的视角，是“为应用开发者和内容提供商提供在（运营商的）网络边缘侧的云计算能力和 IT 服务，这一环境的特点是极低的延时和极大的带宽，支持针对应用侧无线网络的实时访问。”边缘计算产业联盟（ECC）2017 年发布的边缘计算参考架构 1.0中给出了边缘计算 1.0 的定义。边缘计算是在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的开放平台，就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。它从边缘计算的位置、能力与价值等维度给出定义，在边缘计算产业发展的初期有效牵引产业共识，推动边缘计算产业的发展。相比于集中部署的云计算服务，边缘计算解决了时延过长、汇聚流量大等问题，为实时性和带宽要求较高的业务提供更好的支持。随着 5G 和工业互联网的快速发展，新兴业务对边缘计算的需求十分迫切，从产业共识走向落地实践，边缘计算的主要落地形态、技术能力发展方向、软硬件平台的关键能力等问题逐渐成为产业界的关注焦点，边缘计算 2.0 应运而生。边缘计算 2.0：主要包括三类落地形态，云边缘、边缘云和边缘网关。围绕边缘计算的技术体系构建，一方面涉及相关通用技术的应用，主要包括计算、存储、连接、云、视觉、人工智能等；一方面涉及边缘计算特有的技术能力，主要包括边缘原生、边云协同、边缘智能、边缘连接等。图 1.1 边缘计算 2.0摘自边缘计算安全白皮书（ECC 2019 版）云边缘是云边缘形态的边缘计算，是云服务在边缘侧的延伸，逻辑上仍是云服务，主要的能力提供依赖于云服务或需要与云服务紧密协同。如华为云提供的IEF 解决方案、阿里云提供的 Link Edge 解决方案、AWS 提供的 Greengrass 解决方案等均属于此类。边缘云是边缘云形态的边缘计算，是在边缘侧构建中小规模云服务能力。边缘服务能力主要由边缘云提供，集中式 DC 侧的云服务主要提供边缘云的管理调度能力。如多接入边缘计算（MEC）、CDN、华为云提供的 IEC 解决方案等均属于此类。边缘网关是边缘网关形态的边缘计算，以云化技术与能力重构原有嵌入式网关系统，边缘网关在边缘侧提供协议/接口转换、边缘计算等能力，部署在云侧的控制器提供边缘节点的资源调度、应用管理与业务编排等能力。如新型工控、视频 NVR、XR 类双向互动 CDN 等均属于此类。目前边缘计算行业处于期望膨胀期，随着国家不断加快新基建的战略部署， 经济社会各领域正逐步向数字化转型升级，涌现出海量边缘数据处理诉求。前瞻预计未来 3-5 年国内边缘计算市场有望比肩大数据市场，到 2025 年我国超 50% 的企业生成数据将在边缘数据中心处理，至少 50%新建物联网项目在边缘使用容器进行应用程序生命周期管理，市场规模将达到万亿元级别。边缘计算产业上游包括设备供应商，整体产品朝小型化、轻量化和集成化方向发展，国内厂家主要包括华为、浪潮等，国际厂家包括艾默生、思科、施耐德等；边缘计算产业中游为边缘服务商，提供边缘网络和专业化集成运营服务等， 主要厂家包括三大电信运营商和华为、腾讯、阿里和百度等互联网公司；下游为终端客户，涉及安防、交通、气象、航运、保险、农业、家庭、健康、能源、零售等多个垂直行业。1.2 视觉产业发展情况视觉产业在此主要定位于机器视觉的研究领域。机器视觉系统是一个包含硬件、软件和算法等诸多单元的应用系统，主要包括成像和图像处理两大部分，前者通过硬件部分实现，后者由算法及软件构成的视觉控制系统负责，对成像进行处理分析，输出分析结果至执行机构。目前机器视觉的主要应用领域包括工业、安防、体验交互以及其他领域如ADAS 和 AGV 等。1.2.1 工业领域机器视觉发展概况工业视觉系统可以代替人眼完成检测、测量、识别和定位等工作，不仅可以克服人眼标准的不一致性，为行业制定品质管控的数字标准，还能在高速、高光谱、高分辨率、高灵敏度、高可靠性等方面全面超越人眼极限，已广泛应用于电子制造、包装印刷、汽车制造、食品饮料等众多生产性行业和服务性行业。图 1.2 机器视觉系统示意图机器视觉国内企业多以系统集成为主，由于中国本土企业对于市场及客户需求更加了解，从而在系统集成及设备制造方面优势明显，也出现了很多优秀的机器视觉公司，如天准科技、矩子科技、凌云光等公司。随着多年来的国家政策支持和国内企业研发、生产技术水平的提升，机器视觉行业中的众多国外品牌的技术领先优势在不断减弱，国产工业机器视觉产品凭借不输国外品牌的质量、更低的价格及更优质的服务，在国内市场中销售额占比从 2016 年的 38.97%提升到2019 年的 48.66%，国内机器视觉行业及相关产品也正在慢慢打入国际市场。图 1.3 机器视觉产业图谱摘自机器视觉发展白皮书（2021 版）目前消费电子仍是工业机器视觉主要应用行业，当前中国大陆已经成为全球最大的 3C 产业研发和制造基地，在 3C 产业链上机器视觉技术基本覆盖元器件、部件和成品的全制造环节的自动化及品质检测。在汽车制造、半导体等行业，机器视觉技术广泛应用于加工装配、引导定位、校验检测等各个环节，机器视觉硬件产品和算法平台帮助实现汽车及半导体行业严苛的质量要求，进一步提升精益智造水平。机器视觉作为第四次智能化科技革命的典型载体，帮助制造业实现自动化和智能化，是现代化制造提质、增效、降本、减排的刚需，是推动智能制造的关键引擎。随着我国进入全面推进智能制造阶段，机器视觉将向全行业覆盖， 应用市场需求急剧扩增，因此智能制造为机器视觉提供了巨大的需求牵引，是机器视觉的重大战略机遇。人工智能及计算成像技术的发展，极大促进了工业视觉的发展。计算成像赋予传统光学诸多难以获得甚至无法获得的革命性优势，如提高成像的质量，简化成像系统，突破光学系统与图像采集设备的物理限制，使成像系统在信息获取能力、功能、性能指标（相位、相干度、三维形貌、景深延拓、模糊复原、重聚焦）等方面显著提升。通过深度学习技术直接将图像特征提取与模式分类集合在一起， 然后根据具体的模式分类目标从数据中自动地学习到有效特征并实现模式分类， 可以实现通用问题的统一建模和识别。机器视觉融合 AI 已成为未来的大趋势， 云端和边缘端智能计算将为机器视觉系统提供深度学习和行业知识图谱技术的 智能计算技术，助力检测系统的数据传输效率、数据安全性、海量数据计算力以 及检测准确性。1.2.2 安防监控领域视觉发展概况作为安全防范体系的重要内容之一，视频监控具有技术先进、防范能力极强、便利直观等优势，通过安装视频监控系统，可以对所监控范围内的情况进行实时监视和分析，并且可以将被监控范围内的场景等全部记录下来，为以后处理某些意外情况和事件等提供最有力的证据和支持。此外，视频监控系统还可以和报警系统等相连，实现自动报警，达到有效避免某些安全事故发生的目的。近年来，随着雪亮工程的推进使得超过千万台监控摄像机密布在国内城镇的大街小巷，使得国内城市级的视频监控系统从数字化、网络化，逐步过渡到高清化、智能化，目前正进一步向包含视频云、AI 及视频大数据的深度智能时代发展推进。相应的视频监控系统等设备也经历了从最初的模拟视频录像机 VCS、模拟摄像机、硬盘录像机 DVR 到网络录像机 NVR、网络摄像机等仅用于视频的录像存储系统，发展到可以叠加智能分析功能、实时告警的高清智能的视频监控分析系统，如智能 IPC，AVS 等，进入融合视频云、AI 技术、视频大数据技术于一体的深度智能时代。图 1.4 视频监控发展历程AI 算力成本降低使得 AI 可以在云边端部署应用，而深度学习开源软件及算法框架又使得 AI 迭代加快，算法开发迅速；GB/T 28181、GA/T 1400、ONVIF 等行业标准更加成熟，使得跨厂商设备及系统间的视频图像及结构化数据的联网共享成为可能；H.265 及 H.264 的应用进一步降低视频的存储成本，进而又推动了视频像 4K，8K 超高清发展。随着技术的发展，端侧的 IPC 呈现高分辨率、高对比度、高变倍、多光谱、多维信息感知、多种 AI 分析算法、低照度、低码率、低成本三高三多三低的技术发展趋势；边缘侧的设备呈现图像分析、录像存储、网络传输等多功能融合趋势；在云端，专网建设呈现出云化、分层、解耦的趋势； 同时运行在公有云上的 AI 服务、智能化视频数据服务平台、行业性 SaaS 应用等新业态开始茁壮成长。图 1.5 技术引领监控发展1.2.3 体验交互领域视觉发展概况体验交互领域近年来主要涉及新兴技术如 VR/AR 等带来的用户交互及体验提升。VR/AR 产业是由硬件制造和组装开始，集成了操作系统与开发工具、应用、内容、销售分发等多种供应商的生态系统，产业价值链中的技术设备环节对于行业发展有极大影响。图 1.6 AR/VR 发展概略资料来源：vrfocus, virtuelspeech,中信建投证券研究发展部视觉感知与处理是 AR/VR 的一项关键技术，包括硬件设备与操作系统、内容制作等环节，从零部件开始的输入设备、输出设备、芯片中都需要考虑图像视觉信息的传递与处理。图 1.7 VR/AR 产业价值链资料来源：L.E.K未来 AR/VR 技术将不断向终端轻量化发展。目前属于一体机与有线分体机时代，未来 1-4 年，数据处理将逐步由本地处理向边、云处理方向发展，一体机逐步变轻、分体机向无线发展，5-10 年后，一体机和分体机将进一步融合，终端将变得跟日常眼镜重量体积接近，数据处理将主要存在边端和云端。图 1.8 AR/VR 技术从独立运行到最终融合从各细分技术来看，硬件设备端的显示关键技术（近眼显示、渲染处理等） 已经有了清晰的发展路径，8K、可变焦大数据处理成为未来的主流需求。6DFO 传感技术的成熟和交互式传感体验极大地丰富了 VR 用例，高精度手势识别也将成为趋势，此外，高精度 SLAM 定位计算、多地协同交互、5G 远程网络传输方面也都成为未来要解决的技术问题。图 1.9 AR/VR 技术发展情况资料来源：中国信通院、L.E.K 研究与分析1.2.4 其他领域视觉发展概况目前智能视觉的主要应用领域除去工业、安防、体验交互（AR/VR 等）外， 主要还有 ADAS（高级驾驶辅助系统）、AGV（自动引导车）等。随着智能化、网联化、边缘化进程，ADAS 扮演的角色由“提示”向“协助”、“接管”方向演进，在智能驾驶中重要性逐渐增强。ADAS 步入黄金发展时期， 短期内有望快速扩张。车载摄像头是 ADAS 系统的主要视觉传感器，用于感知车辆周边的路况情况。摄像头主要应用在 360 全景影像、前向碰撞预警、车道偏移报警和行人检测等 ADAS 功能中。图 1.10 中国 ADAS 市场规模资料来源：公开数据整理AGV 搬运机器人最核心的技术是自动导引技术，通过视觉对 AGV 行驶区域环境进行图像识别，实现智能行驶，通过边缘计算实现数据不出场，广泛应用在各大电商、物流、制造业仓储环境中。根据资料显示，AGV 在 16 年市场增长率达到了 160%，17 年也达到了 94%。虽然在近两年增长速度有所放缓，但中国 AGV 产业已经从最初的严重依赖进口转变为拥有核心技术研发、多场景深度集成的高科技产业，中国市场也已经成为世界最大的 AGV 使用市场之一。上述场景都需要使用来自近场传感器及视觉传感器的数据，所有的数据都需要实时处理，通过边缘技术，确保数据的实时、低延时处理响应，确保防止人类受到伤害，同时支持完成有难度的工作。1.3 边缘视觉产业发展现状边缘视觉是应边缘计算与视觉领域结合的需求，把视觉处理的算力及智能分析下沉到边缘节点，发挥边缘计算的核心优势“传输低延时、大带宽，计算高性能”，来实现泛视觉应用边缘处理的能力。以工业视觉、安防、体验交互（AR/VR） 等为代表的视频应用，不断满足各行业对视频业务实时性、视频数据智能化等方面的需求。未来几年将是边缘计算规模部署的关键时期，视频领域将成为边缘计算先行落地的应用领域。在工业视觉领域，机器视觉主要应用于工业质检领域，涉及到产品外观缺陷、尺寸、平整度、距离、校准、焊接、质量、弯曲度等检测。工业机器人对边缘视觉系统的需求包括端侧图像数据本地化处理、并实时传递给机械臂，引导机械臂运动路径及抓取动作等。智能工厂对边缘端工业视觉的需求包括在端侧系统实现对被测物的各种缺陷的检测与分析，将端侧采集的数据传给边缘端系统，进行算法分析，再将分析结果回传给端侧专机，快速实现设备生产端的应用等。在安防领域，应用场景主要有智慧交通、智慧连锁、智慧园区等。智慧交通中重要的边缘视觉设备是交通边缘智能体，通过边缘视觉边缘设备形成全息路口方案精准实现多种业务指标的分析。智慧连锁集合智慧运营，安保及营销诉求于一体，包括运用边缘侧智能分析功能实现智慧营销，智能化可视化安保管理和智能远程 AI 巡检等。智慧园区可实现园区出入口人车管理精细化管理、实现周界防范智能化、园区室外公共区域全局高清及智能化安保等功能。在体验交互领域，主要有工业制造强交互应用、娱乐弱交互应用等场景。在工业制造强交互领域中，AR 头戴式设备通过对现实世界工件上精确且持续地叠加大型复杂 3D 模型/数字孪生模型，可实现关键的企业用例用于设计、培训、装配和制造。娱乐弱交互领域中需要使用轻量级摄像头和 VR 头戴式显示器 (HMD)， 降低终端成本和功耗，提高摄像机和终端的便携性和移动性，实现随时随地的VR 体验。视频边缘计算产业与服务集中在 2020 年前后陆续上线，CT、云服务、互联网、AI 领域厂商是主要玩家，硬件厂商也在尝试进入边缘计算，依托硬件设备提供服务。电信运营商和设备商按照网络演进路线研发边缘计算产品。中国移动推出星辰视界视频边缘智能总体解决方案。星辰视界是面向家庭、行业客户提供的边缘视频服务技术平台，通过“1+3+N” 的服务体系，可为用户提供视频 AI、视频评测、XR 三大类能力，并支持云/边/端灵活部署和升级，满足各种场景下的边缘智能化服务需求。华为公司推出智能边缘平台（Intelligent Edge Fabric） 满足客户对边缘计算资源的远程管控、数据处理、分析决策、智能化的诉求，为用户提供完整的边缘和云协同的一体化服务。云服务提供商将云能力延伸到边缘。腾讯云物联网边缘计算平台（IoT Edge Computing Platform，IECP）能够快速地将存储、大数据、人工智能、安全等云端计算能力扩展至边缘节点，在边缘的计算设备上创建可连接 IoT 设备，转发、存储、分析设备数据的本地边缘计算节点，可以方便地在本地使用云函数、AI 模型、流式分析等能力对设备数据进行处理与响应，节约运维、开发、网络带宽等成本消耗。互联网公司从消息传输、协议转换向计算延伸。百度智能边缘（BIE），将云计算能力拓展至用户现场，可以提供临时离线、低延时的计算服务，包括消息规则、函数计算、AI 推断。智能边缘配合百度智能云，形成“云管理，端计算” 的端云一体解决方案。AI 厂商将“AI 算法”赋能边缘计算。旷视公司推出智能分析盒，“AI 算法”赋能边缘服务器基于 “人脸识别算法”嵌入 AI 综合算法，专为“大型复杂”的AI 深度神经网络运算而打造，支持边缘侧前端独立完成“人像获取、识别和比对预警”并提供丰富的 API 接口，可供二次定制开发应用，应用于“楼宇园区、校园社区、超市商超和零售生产”等领域，为“通行、考勤和安全防范”提供前置算力。2. 边缘视觉典型应用场景及需求2.1 概述边缘端的视觉处理，多来自于边缘端图像采集后的实时性决策，以及端侧大数据的本地化处理等需求。目前边缘视觉的主要应用领域包括工业、视频监控、体验交互以及其他如 ADAS 和 AGV 等。本白皮书里着重研究边缘视觉在工业、安防监控、体验交互领域边缘侧处理的应用、需求分析。领域典型场景工业视觉自动化产线、工业机器人、智能工厂安防监控智慧雪亮、智慧交通、智慧连锁、智慧园区、智慧环保体验交互工业强交互、娱乐弱交互ADAS 机器视觉智能汽车、车联网、自动驾驶、无人驾驶、车载系统AGV 机器视觉无人车、自动引导车、引导机器人表 2.1 边缘视觉应用领域及典型场景2.2 工业领域机器视觉应用场景及需求2.2.1 工业领域边缘视觉发展概述随着人工智能、计算机视觉等技术的快速成熟，以及德国工业 4.0、中国制造 2025 等政策的驱动，使得工业机器人市场快速增长，也大大促进了机器视觉产业发展。有公开数据显示，在 2018 年，全球用于自动化领域的机器视觉技术市场规模达 44.4 亿美元，预计 2023 年将达 122.9 亿美元，年复合增长率高达21%，市场需求巨大。我国工业经济持续发展，工业升级改造需求强烈。据工信部统计数据，2020年我国工业增加值达到 31.31 万亿元，连续 11 年成为世界第一制造业大国，庞大的工业体量带来了巨大的工业升级改造需求。下游生产制造产品结构更加精密、质量要求提高，提高检测要求，引入机器视觉检测成为必然趋势。随着工业视觉应用的领域越来越广泛，被检测对象、检测场景越来越复杂， 应用于工业视觉的技术也随着发生了重大变化：（1） 从 2D 视觉逐渐向 3D 视觉转变。3D 视觉对照明（环境光）变化不敏感，而且精度和可靠性高，可以更好的进行多传感器融合，检测快速移动目标并获得形状、对比度、空间坐标信息等深度信息。（2） 工业视觉应用从传统工业视觉向基于深度学习的 AI 工业视觉过渡。传统视觉算法所依赖的是预先明确的固定特征，由视觉工程师基于视觉任务的特定需求，进行目标特征的定义以及数值判断的阈值定义的实现，这种逻辑简单的局限性，无法适用于随机性强、特征复杂的工作任务，如随机出现的复杂外观缺陷检测等。（3） 边缘端智能逐渐增强。端侧视觉检测系统与运动控制平台的结合，实时自动对端侧的异常情况进行处理，极大的提高了生产效率。同时随着检测精度的提高，端侧视觉系统采集的数据量越来越大，边缘端的数据处理减轻了数据回传的通信链路带宽压力。2.2.2 工业领域典型应用场景2.2.2.1 自动化产线质检目前人工质检面临质量、成本、特殊场景应对等问题，具体如下：（1） 质量：人类视觉对于灰度的分辨能力较差，一般只能分辨 64 个灰度级，在空间分辨能力上也效果不好，不能看到微小目标，且会存在心里波动及视觉疲劳，因此常会存在漏检问题；（2） 成本：产品复杂度逐渐增加，产线工人数量增多，且人员流动较高， 由此带来的培训和用工成本高；（3） 效率：人工质检的检测时间是 s 级，而机器视觉的快门时间很短，可以达到 10us 级别，比如在工业表面检测场景中，需要达到几十 us 的快速响应， 人工 s 级难以满足需求；也有些特殊场景，需求的检出缺陷是亚 mm 级别，肉眼无法检出。检测方式企业成本检测效率人员检测每条产线 6 人，三班需要 18 人，平均年薪 5 万元，每年需要 90 万元效率低下，且可能出现人为失误，稳定性较差AOI 设备检测每台设备平均价格 20 万元，每年维护加折旧 6 万元，每条生产线 3 台设备，初始投资 60 万元，每年折旧与维护成本 18 万元效率高， 稳定性强，精确度更高表 2.2 使用工业视觉系统和人工检测效率及成本对比工业视觉应用于工业质检领域，主要涉及到产品外观缺陷、尺寸、平整度、距离、校准、焊接、质量、弯曲度等检测。典型自动化产线上工业视觉质检由视觉检测系统（含成像系统、光源系统、图像采集处理系统）、运动控制单元、显示单元组成。图 2.1 自动化产线工业视觉应用典型组网自动化产线对边缘工业视觉的要求为：（1）端侧图像数据本地化处理及存储，比如外观缺陷检测的缺陷检测结果提取、尺寸量测的结果提取等；（2）检测结果实时指导运动控制单元的动作状态。2.2.2.2 工业机器人视觉引导与检测工业视觉在工业的应用往往会和机器人联合形成解决方案，主要应用方向有 机器人视觉引导与检测两种。视觉引导是指通过成像系统对工件进行定位和识别， 引导机器人进行抓取，用于无序分拣与堆码，上下料，焊接等。典型机器人工业视觉引导组装系统由三部分构成：工业相机、工控机（图像处理软件）、机械手。工业相机获取待分拣工件/堆垛的图像信息，传送到工控机上的图像处理软件，进行动态定位和识别，获取要抓取物品空间位置信息，规划机械手运动路径、拾取及放置的位置。图 2.2 工业机器人上工业视觉应用典型组网工业机器人对边缘视觉系统的需求为：（1）端侧图像数据本地化处理，（2）实时传递给机械臂，引导机械臂运动路径及抓取动作。2.2.2.3 智能工厂传统工厂自动化加工设备覆盖率低，装配环节基本依靠手工，质检过程缺乏先进手段，信息化建设存在断层、车间管理成为黑匣子，生产系统各相关环节成为信息“孤岛”。智能工厂利用各种技术加强信息管理服务，提高生产过程可控性、减少生产线人工干预，以及合理计划排程。同时，集初步智能手段和智能系统等新兴技术于一体，构建高效、节能、绿色、环保、舒适的人性化工厂。图 2.3 智能工厂典型应用场景智能工厂组成分云、边、端：（1） 云：实现质量大数据分析、处理图 2.4云端质量大数据分析图（2） 边：实现自动化数据智能收集，产线数据管理图 2.5边侧智能数据处理图（3） 端：数据的产生图 2.6 生产终端智能工厂对边缘端视觉的需求是：端侧视觉系统实现对被测物的各种缺陷的检测与分析，将端侧采集的数据传给边缘端视觉系统，进行算法分析，再将分析结果回传给端侧专机，快速实现设备生产端的应用。同时边缘端视觉系统要能与云服务器通信，通过云平台的大数据管理实现智能工厂。2.2.3 工业领域的未来挑战随着机器视觉在工业领域应用越来越广泛，技术、市场层面所面临的挑战也逐渐暴露出来。（1） 市场侧：挑战一：端侧算力成本越来越高随着传统视觉向基于深度学习的 AI 工业视觉转变，高性能 CPU/GPU 的广泛应用，以及工业视觉检测精度要求越来越高，端侧算力成本急剧上升。挑战二：工厂内多数仍是数据孤岛，数据不能共享图像的采集和处理均在本地完成，生产中有效数据不能及时在各个系统间共享、调度，无法实现全智能化生产，进而影响整个生产进度。挑战三：本地化维护成本较高当前多是固定工位单机部署方式，使得每次对设备进行调试、软件更新维护、监控分析都需要在本地完成，维护成本较高。（2） 技术侧：挑战一：定制化严重，通用性不足工业视觉检测系统一般只适用于同一家厂商或同一类行业，导致定制化开发成本较高，且落地应用周期较长。挑战二：工业视觉系统不可自学习、动态优化传统工业视觉算法是基于固定场景、确定被测物、确定指标要求的程序化算法系统，不具备自学习功能，无法用于复杂、多样化的应用。而基于 AI 的工业视觉，当前也多是工业现场部署前期训练后的检测模型，也不具备自学习能力。这就需要云、边、端协同的智能视觉系统，端侧采集现场作业数据，边缘侧完成实时性的决策要求，云端对汇聚上来的缺陷数据进行 AI 训练，训练好的模型再不断闭环升级边缘端 AI 检测模型。2.3 安防监控领域视觉典型应用场景及需求2.3.1 安防监控领域边缘视觉发展概述随着 AI，大数据，云计算及边缘计算等技术的发展，传统的视频监控逐渐走向智能安防，从传统的防控辅助系统走向效率提升的生产系统，智能安防又逐步走向千行百业，传统的集中在中心云端处理数据的问题逐步暴露，主要问题如下：（1） 高昂的数据传输成本。随着数据量的增加和超高清视频的应用，传输带宽逐步增大，尤其对于无线传输场景；（2） 终端应用场景对延迟非常敏感。比如智慧城市中的异常行为检查、人流量检测需要实时预警，长时间延迟是无法接受的；（3） 安全隐私的要求提升，尤其是企业保密信息及个人隐私数据，需要从前端到云中心的整个过程加强安全管理；（4） 更快的本地治理诉求，通过与云中心的协同，实现本地自治，自我恢复能力，跟云中心断开时依然可以独立正常运作。为了提升决策准确率及时效性，实现更安全可靠的端边云协同方案，行业需要将视频分析及判断能力布置在前端及边缘设备上，实现即时决策，减少后端处理压力。在前端，摄像机通过 AI 芯片具备足够算力，为前端智能算法和应用提供高效的运行环境。同时在边缘和中心，大算力芯片为海量视频、图片、数据的深度解析和大数据碰撞、检索提供算力保障，从而形成端边云全网智能化的算力基础。比如在人脸识别的应用中，通过前端抓拍、边缘及中心分析的智能结合的方式，对人脸识别的智能算法进行预定位，并在前端摄像头内置高性能智能芯片， 人脸识别抓取的压力通过边缘计算分配到前端，从而释放中心的计算资源，集中优势计算资源进行更高效的分析。图 2.7 智能安防的端边云协同调度架构图其中云边缘设备包括：智能网关及边缘智能视频服务器，各自具备以下功能： 1、智能网关：具备支持视频接入，视频编解码，视频转出功能，能够对采集到的视频图像数据进行智能分析，包含目标检测、跟踪、特征识别、行为分析等，输出视频中的目标、目标类型、目标特征、目标状态行为和事件等结构化信息。2、边缘智能视频服务器：作为边缘计算和边缘数据中心的主要计算载体， 应具有对采集到的视频图像数据进行智能分析的功能，包含目标检测、跟踪、特征识别、行为分析等，输出视频中的目标、目标类型、目标特征、目标状态行为和事件等结构化信息，并支持边云协同功能。3、前端设备主要有智能摄像机，智能摄像机内置 AI 芯片，能够对采集到的视频图像数据进行智能分析，例如目标检测、跟踪抓拍、特征识别等。2.3.2 安防监控领域典型应用场景2.3.2.1 智慧雪亮“雪亮工程”，即公共安全视频监控建设联网应用，被认为是守护人民安宁的“千里眼”。 2021 年，雪亮工程建设的十三五规划目标“全域覆盖、全网共享、全时可用、全程可控”已经基本实现，而十四五智能化指南写入到 2025 年前端智能化比率要达到 80%，实现更快，更准、更全、更易用的智能视频综合应用。针对智慧雪亮场景需要支持各个前端设备及平台的联网、视频调阅，并需要支持对海量视频的分析以便快速检索图像，实现目标提取，故对相关边缘视觉需求如下：（1） 支持视频资源联网、共享及管理。大联网要求，边缘视觉平台如智能网关及智能视频平台需支持多种形态的前端设备联网接入及管理，并针对监控资源及设备进行统一的编码管理，使得用户在权限管控范围进行视频资源的调度， 同时边缘视觉平台需支持与其他相关平台（同级别及高级别的、同构异构的）进行联网连接，实现平台资源互通共享（2） 支持视频调阅、存储及转发。支持在统一平台上实现视频监控图像的灵活调度，提供丰富的终端管理与应用方式，可以在视联网终端、手机、电脑等设备上实现视频调度和应用。（3） 具备智能分析功能。能够自动从海量视频中发现重要线索，快速锁定目标，实现视频调阅、目标提取、检索对比、身份确认及全域追踪等，聚焦人脸、车、人体等核心感知数据的融合分析，实现业务流程自闭环，提升警务效率。（4） 支持端边云协同，多点布控与多机联动，包括资源，任务，算法及数据的协同，从而实现全域追踪及全网协同（包括多警钟协同，地市区县协同）。2.3.2.2 智慧交通随着全球经济的高速发展和城镇化进程不断加快，机动车保有量逐年增长， 道路交通运输量也不断增加，道路供给和通行需求矛盾加剧，导致各种交通问题日益突出，已经成为全国各大城市管理的首要问题，智慧交通建设已经是一个迫在眉睫的系统工程。由于交通监控场景催生大量图像及视频数据，同时为达到调度管理又需准确及时的实现车牌、人、机动车及非机动车的智能识别。随着电子警察、卡口交通执法、稽查设备等在智慧交通系统的普及，前端视频数据量极大，尤其在车路协同的应用场景中，无法做到数据直接上云或者中心节点，而需要大量实时数据处理，故需要在边缘侧部署相关智能分析设备来实现实时分析反馈、决策、达到既满足交通执法者需求，又满足疏导交通拥堵，保持道路畅通安全的大众出行诉求。当前主流边缘智能的方案中全息路口解决方案最为突出，采用边缘视觉技术有效实现动态交通管理，通过在靠近路口的视频数据端，布置交通边缘智能体， 对路口视频进行实时分析，解析多种交通结构化数据包括车牌、车辆属性、车速等信息，生成 40+交通业务指标，实时决策，精准管控。图 2.8 智慧交通全息路口解决方案示例智慧交通中重要的边缘视觉设备是交通边缘智能体，通过边缘视觉设备形成全息路口方案，精准实现多种业务指标的分析，边缘视频分析平台在智能交通中的主要功能及需求如下：（1） 实现路口机动车、非机动车、人等全量数据采集分析及存储。采集搭载“机非人”算法的智能摄像机，实现无盲区覆盖整个交通路口，实现对人，车的图像抓拍分析。（2） 满足各个部门的联网要求，支持平台间互联接入，支持视频存储调阅及转发。（3） 支持边云协同，多级联动控制，精细化治理。支持将元数据（车牌、车辆属性、车速、位置、是否违法等）汇聚到微边缘设备进行业务指标汇聚分析， 并最终经过多个边缘设备分析后汇聚到智慧交通治理中心平台，实现多边缘节点联动控制，精细化治理，采用边缘设备与云端协同的机制，破解烟囱系统孤岛数据，使得交通数据分析更实时，更精确。2.3.2.3 智慧连锁门店管理是智能商超的重要场景，当前面临多种困难，包括门店分散，加盟点多，人员管理困难，客流、客群数据统计困难，难以判断市场动向，丧失销售机会，货品摆放合理性难以验证等问题。通过在门店内外布置智能摄像头，以及与相应边缘智能视频服务器相结合， 并配合后端监控云服务的强大计算能力，实现端边云协同治理情况下的高效安保， 精准营销，高质量运维。图 2.9基于端边云协同的智慧连锁解决方案示例智慧连锁场景中，集合智慧运营、安保及营销诉求于一体，对边缘视觉设备主要功能需求如下：（1） 运用边缘侧智能分析功能实现智慧营销，包括客流分析、客户需求及热度图分析。通过门店出入口及内部布置智能摄像机，实现客流分析、客群统计、区域热度分析，并将分析数据汇总在边缘视频服务器进行分析，并按照产品类别做排行，可及时调整产品营销策略和供应，提升体验。（2） 智能化可视化安保管理。边缘分析平台应支持园区安保相关算法分析功能，支持多算法集成、云端新算法的下发更新及部署，实现无感知考评签到， 员工工作服装穿戴检测如厨师帽，厨师服等，进行员工脱岗检测等，并支持在app 端智能化可视化显示，同告警信息呈现，及时实现安保报警，精细化管理运营。（3） 智能远程 AI 巡检：基于云服务+边缘节点，通过选择门店，选择视频画面抓图标注、保留依据、即可反馈问题，实现业务闭环，提升门店管理效率。2.3.2.4 智慧园区当前智慧园区管理监控依然处在安保弱、管理效率低、运营成本高、办公效率低的情况，大量前端摄像头缺失智能化能力，录像系统仅仅用于事后取证，人与车的同行效率低下，多部门系统间不连通，安防系统重复建设等问题大量存在， 需要进行统一平台管理，部署边缘节点，支持端边智能，加强边缘治理及运维， 从而构建安全高效的园区安保系统。图 2.10园区典型业务场景及涉及算法分类在该场景下边缘视觉设备主要解决以下问题：（1） 园区出入口人车精细化管理：通过在出入口布置车牌识别一体机，人脸识别闸机，目标抓拍摄像机，边缘视频服务器等视觉设备实现刷脸通行、车牌识别，高效通行；人车出入记录可查，实现出入园区人车管理精细化。（2） 实现周界防范智能化：在园区周界安装加载周界入侵报警算法能力的摄像头、边缘分析服务器，实现人员入侵探测、报警，从而实现周界防