人工智能技术应用实践白皮书.docx

《人工智能技术应用实践白皮书.docx》由会员分享，可在线阅读，更多相关《人工智能技术应用实践白皮书.docx（72页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、目录摘要1数字时代，遇见AI2新机遇带来新的技术挑战 驾驭在AI加持下不断迭代的技术驾驭AI加持下的内容风控技术8如何构建具有快速识别能力的内容风控系统？ 8如何高效降低内容风控系统的资源消耗?9如何敏捷响应多变的业务需求？ 11如何获得具有场景泛化能力的AI算法模型？ 12驾驭AI加持下的音视频技术14如何驾驭AI加持下的音频技术？ 14如何驾驭AI加持下的视频处理技术？ 17驾驭AI加持下的自然语言对话技术23如何高效解决访客需求？ 23如何实现低本钱及高可用？ 24如何实现快速冷启动？ 25如何获得AI能力的持续优化？ 26如何发挥人机交互的协同优势？ 27如何提高语音交互与智能外呼的智

2、能度？ 27持续创新的AI系统架构29数据32模型33算法34解决方案35部署与加速373939为企业插上AI技术的翅膀 网易智企服务案例详解|驾驭Al加持下的内容风控技术 内容风控技术用于检测违法违规、垃圾信息以及低质量内容，辅助企业对不同的风险类别进行差异化处 理，构建稳定、清朗的互联网环境O近年来，互联网、智能设备及各种新兴业务飞速开展，内容形式走向多元化、创作门槛大幅降低，使得图像、视 频、语音、文本、直播、聊天等线上内容井喷式增长。与此同时，内容风控问题日益凸显，内容安全成为互联网安全场景的重中之重。庞大且多维度的新场景对内容风控技术提出了新的挑战。新一代内容风控技术不仅需要能够稳定

3、、高效地在海量的 互联网信息中使用AI算法快速识别出有害信息，还需灵活地在未知的内容形式中进行筛检。网易易盾针对此进行了系统性难点分析，结合人工智能领域技术趋势，以实际识别效果为基础，从快速识别、敏捷 响应、低资源消耗、场景泛化等四个层面出发搭建了新一代数字内容风控系统。如何构建具有快速识别能力的内容风控系统？垃圾数据占比极低是内容风控任务的一项重要特征。网易易盾团队（以下简称“易盾团队”）需要在海量的数据中 筛选出占比可能只有万分之几、十万分之几的有害信息，进行快速识别。为了系统性地解决这个难题，易盾团队打造了内容风控系统多级动态推理方案o该方案模拟应试策略的思路，即 当卷面的简单题目占比高

4、、难题占比低时，智能调整计算方案为“先易后难”的应试方式，在保证“拿高分”的同 时保证答题的“速度” O该方案由任务级动态推理、网络级动态推理,以及数据级动态推理三项子技术方案构成。 任务级动态推理该方案将有害内容识别任务进行拆解，形成复杂度递增、流量递减的任务级联结构。在方案结构中，前级任务作为 后级任务的前置和短路o简单的数据一般会在第一级或前级任务终止，以保证低计算复杂度o复杂的嫌疑数据会流 入后续复杂任务，以保证识别效果。内容安全领域有害数据的数据占比极低，大多数的简单数据会终止在第一级任务，这使整体的任务级动态推理方案 能在保证速度的前提下同时保证识别效果。网络级动态推理易盾团队通过

5、结合动态网络的思想与内容风控业务的特征，提出早停网络内部蒸谯的思路来改进早停网络在多任务 训练不容易收敛的问题。其中，样本会根据识别结果，动态地停止在网络的某一层o由于内容风控领域绝大多数是 简单的正常样本，绝大多数样本都会停留在浅层位置，方案由此压缩计算复杂度，从而提升部署效率。 数据级动态推理输入数据样本的分辨率是另一个影响计算效率的关键因素。降低输入样本的分辨率可以指数级地降低计算复杂度， 从而提升模型和部署效率，但会带来识别效果降低的风险。在相关算法研究的基础之上，易盾团队提出了数据级动态推理的技术方案，根据分辨率进行蒸懒，在分辨率动态网 络的基础上，加入了大分辨率分支蒸镭小分辨率分支

6、的思路，从而进一步提升小分辨率分支的效果。如何高效降低内容风控系统的资源消耗?内容风控领域面向海量的互联网数据，特点是数据多、类型多、标签多、场景多、定制多、任务多。如果“面面俱 到”地进行数据标注，将产生一笔非常大的开销，甚至直接影响研发周期。易盾团队从数据生成、模型打标、人工打标三个角度出发，进行了全面的低资源消耗优化，成功形成无监督冷启动 的数据生成、基于跨任务融合的数据增广、基于师生互动多任务级联半监督学习的模型打标方案,以及基于多目 标主动学习的有效人工标注方案四项在降低资源消耗方面行之有效的技术方案。 无监督冷启动的数据生成有些场景缺少具备初始识别能力的模型，很难进行冷启动初始训练

7、数据。另外一些场景面向开放域的识别，对 应的类别和类型数量难以估量，因此数据标注基本不可行。针对网易易盾的业务场景，易盾团队设计了无监督 冷启动的数据生成方案。方案首先通过特征检索、聚类、多模态等方式产生初始伪标签或者提议，这时的伪标签有 明显的误漏标。随后，方案采用在线半监督的方法反复迭代，不断修复伪标签的误漏标问题，从而在整体上实现无 监督冷启动的数据生成。聚类ooo ooo ooo业务需求无监督冷启动数据生成检测检索分类 Ooe OOO oeo ooo OOO eoo I、基于跨任务融合的数据增广方案当模型有了初步的冷启动识别能力，但生成数据往往在分布上存在局限，与真实场景中的数据分布有

8、明显差异。为 构建可用的冷启动模型，从生成数据到真实数据的数据分布迁移是一项重要问题。其核心点在于，如何在识别能力 较弱的情况下提升增广数据的精确度。易盾团队设计了基于跨任务融合的样本增广方案，例如用检索和分类任务， 结合原有检测伪标签进行跨任务的融合标注，跨任务相比拟于单任务，能进一步的提升增广样本的精确度。无标签真实数据、Z模型迭代训练 基于肺生互动多任务级联半监督学习的模型打标方案模型打标有不确定性、多样性、数据域、精确度四个方面的要求。为了更好地平衡不确定性与精确度，易盾团队设计了跨任务师生互动的半监督学习方案。通过师生互动的方式，保 证学生模型的数据是其无法召回的难例，逐步舍弃能够很

9、好识别的简单样例，提升难例的数据占比。鉴于单任务的 方式容易过拟合，精度难以提高，团队设计了升级版的跨任务半监督方案，很大程度提升半监督数据的精度，以及 学生模型的识别效果。另外，方案将半监督、置信学习、噪声训练进行结合，让置信学习从打标数据集整体角度出 发，进一步提升数据集的精确度；噪声学习从训练角度出发，进一步改善模型训练对噪声标签的容忍性。最后，针 对数据域的问题，方案在原有任务的基础上增加数据域的识别和度量能力，以此作为数据锦选指标之一，提高打标 数据中域外数据的占比。5带噪训练 基于多目标主动学习的有效人工标注方案数据标注是降低资源消耗的重要环节，重点是对更加有效、贴合场景、有利于模

10、型训练、不冗余的数据进行数据标 注。其中，人工标注是“兜底方案”，需要和模型标注进行有效区分，防止重复。易盾团队从不确定性、多样性、 数据域三个角度出发进行建模，模型构成的综合评判将最终决定数据样本是否需要进行人工打标。以不确定性举例，不确定性意味着信息螭更高，以及更大概率是难例，筛选出的数据进行标注训练能更加具有针对 性地提升模型性能。另外，不确定性高的数据更难满足模型打标对精确度的要求。综合上述原因，这样的数据样本 有许多适合人工处理的点。易盾团队从类别、模型的角度出发，通过信息熠、置信度区间等综合维度对不确定性进 行建模，作为送标数据的参考指标。另外，样本的多样性也很重要。为了降低送标数

11、据的相似度，易盾团队以模型 特征维度为出发点，利用相似度度量、聚类等方式对多样性进行度量，作为送标数据的参考指标。在不确定性和多 样性的基础之上，方案还进一步地探索数据域的衡量指标，增加数据域的识别和度量能力，进一步丰富数据挖掘的 过程。Unlabeled dataUnlabeled data数据域的识别和度星能力数据域建模需要标注的数据如何敏捷响应多变的业务需求？内容风控领域面临三个涉及敏捷响应的问题：首先，算法模型难以保证百分之百的精确识别，需要在出现样例漏识 别的情况下进行查漏补缺；其次，不良和有害内容的类型层出不穷，在业务上经常要新增识别类型；最后，由于互联网不同类型产品之间内容形式的

12、差异性，算法识别会存在领域适配的问题。有害内容一旦漏过，将对相关业务造成持续性的损害。因此，内容风控业务对于AI识别系统的快速响应能力具有 非常严苛的要求。易盾团队针对这些特性设计了完整的敏捷响应技术方案，包括基于深度特征检索的目标样例模糊匹配方法、基于 动态特征拓展的新类别增量迭代和领域迁移学习的场景适配三个子技术方案。 使用深度特征检索定位敏感区域参考成熟的人脸识别系统，深度特征匹配通过目标位置定位、深度特征提取和样本库检索三个步骤进行。目前，深 度特征检索技术方案潼盖包括了标识类、旗帜类、服饰类、卡通人物类等类型。相较于人脸识别系统，这些类内间 距较大，且类间间距存在不确定性。易盾团队针

13、对不同的数据类型，制作了检测泛化性能更强的目标检测器和特征 区分性更好的特征提取器，实现了目标案例的快速兜底功能，增加了一层快速响应的保护机制。 使用动态特征拓展新类别增量迭代在内容风控场景下保持敏捷性，需要防止重头训练获得新知识的模型。其重点在于不能大量改动原有的模型，同时 快速增加对新类型的识别能力。为此，易盾团队构建了基于特征扩增方式的类别扩增技术方案，在保存局部原有模 型特征的基础上，通过可扩展表示(Expandable Representation),即扩增非常少量新特征的方式增加新类别的识 别能力。该方法已成功在垃圾广告、色情低俗等识别服务上取得了良好的效果。 使用领域迁移学习实现

14、快速场景适配算法场景适配技术要求模型能够快速适应新出现的检测业务场景，以及面对新场景数据保持稳定可靠的识别效果。 在技术实践层面上，这涉及数据生成和模型训练两个方面。针对训练数据，易盾团队结合在小样本扩增中使用的数 据增强技术，设计了场景数据定向生成技术方案，能够快速扩增特定场景类型下的训练数据。针对模型训练，方案 引入了不同场景数据之间的比照学习机制，进一步加强模型对于新场景的适应性。如何获得具有场景泛化能力的AI算法模型？场景泛化能力可更加完善地支撑多元场景需求，更全面地提升算法服务效果，更稳定地防范未知场景风险，对于内 容风控服务有着重要意义。对于频繁面临新增需求的业务来说，更好的场景泛

15、化能力意味着服务的效果与稳定性不 会随业务场景的迁移而下降，在绝大程度上防止反复的场景定制，以及防止反复的场景数据与标注。在提升场景泛化能力方面，易盾团队提出了基于未知域外泛化的场景泛化和基于开放域识别的识别范围泛化两项 技术方案。未知域外泛化场景下的算法泛化在内容风控领域中，想要获取全部的实际业务数据通常比拟困难。与此同时，数据的分布会随着时间的推移发生未 知的变化。为应对以上两个未知域外泛化场景下的核心问题，易盾团队需要在有效的数据域范围下，提高算法模型 在未知数据分布上的泛化能力，从数据增强、特征表示、训练策略三个方面进行优化。在数据增强方面，易盾团队在使用常规的数据增强方法之上，使用生

16、成方法于训练中交换同一批次的数据风格信 息，以获得具有原始分布之外的不可见样式的样本。在特征表示方面，易盾团队通过风格内容解耦的方法，消除目标本身相关特征与风格特征之间的虚假关联。同时， 算法团队通过域特征对齐的方法最小化来自不同域但同一类的样本之间的距离，最大化来自不同域和类的样本之间 的距离来学习不同域之间的语义对齐，挖掘出目标本身的相关特征。在训练策略方面，易盾团队针对不同源域设计不同的子模型网络，并根据实际情况设计多个或者一个分类头，以提 高整体的域泛化能力。基于上述工作，易盾团队还在网络训练过程中对模型的参数进行平均，到达进一步提高模型的泛化能力的目的。 开放域识别场景下的识别范围泛

17、化AI识别系统的场景泛化能力，指的既是数据分布上的泛化，也是识别范围的泛化。”数据分布上的泛化”，指的 是针对数据分布进行扩展；识别范围的泛化，那么是针对识别目标的类型进行扩展。识别范围泛化用于解决一大类问题，例如在Logo识别中支持任意类型的标识图像（Logo）识别，而非将logo拆 分为细分类型进行逐个击破。目前，易盾团队正在局部场景探索开放域支持任意类别的识别范围泛化解决方案。方 案从类别检索的角度，结合特征检索敏捷响应的特点，优化实例检索没有明确类别泛化的局限，从而快速实现对任 意类型的识别。此外，易盾团队会从多模态的角度，用文本特征新增表征类型，为方案提供新增图像类型的快速识 别能力

18、。驾驭Al加持下的音视频技术音视频技术为复杂的娱乐社交场景提供了整体体验上的优化和技术支撑，为网易各个业务的产品创新推 波助力。 音视频技术需要脱离实验室，在嘈杂的真实环境中进行运行，并且具有优异的泛场景计算能力以及保证 端便落地的低开销与稳定性。疫情持续的大环境下，视频通话、视频会议、在线教育等功能成为了人们工作生活中的刚性需求。丰富、广泛的市 场需求带动了音视频技术的超高速开展。与此同时，更加多元化和复杂化的应用场景也对音视频技术提出了更高的要求。面对实时处理的速度、高清的音视频质量以及对于直播、在线课程等不同场景下的定制化功能的要求，网易云信团 队(以下简称“云信团队”)对音视频的底层算

19、法技术及端侧应用进行了多维度优化。云信团队重点研究了 RTC 产品相关的音频处理技术，例如回声消除、降噪、自动增益控制等通话中长期应用的算法，同时持续关注最新技术 方向，如空间音效、基于统计机器学习和深度学习的AI降噪、场景检测、啸叫检测等。如何驾驭AI加持下的音频技术？AI技术的开展推动了相关音频算法的不断涌现。这些AI算法虽然能够在某些特定问题或实验室数据上获得优异表 现，但往往存在高本钱、无法适应真实应用场景、难以处理高维度声音环境等工程化问题，导致音频AI算法在真 实场景中的落地困难。作为对AI算法落地难问题的响应，云信团队的解决方案是将AI与DSP进行结合、提升AI算法在复杂场景的

20、泛化能力、端儡落地的低开销与稳定性,以及研发实时音视频环境中的AI算法。 结合AI与DSP算法数字信号处理(DSP)算法是传统音频处理任务的基础。AI音频算法相比传统DSP处理算法，对处理复杂的真实 场景存在一定短板，同时也带来更大的开销。AI和DSP的结合是当下音频通话领域一个高效的、可落地的、节省开销，也是云信团队力推的解决方案。以AI 回声消除为例，该方案在处理过程中保存了效果好、性价比高的DSP处理。如下列图所示，方案在处理过程中保存 了效果好、性价比高的DSP处理：时延估计和线性滤波。在非线性处理中，方案采用了基于RNN的网络模型替 代了传统DSP的处理，从而提升对非线性失真信号的处

21、理能力。远端参考信号基于DSP的线性处理f基于Al的非线性处理麦克风信号基于GCC-Phat的时延处理, 输出信号基于RNN的端到端AEC模型 基于LMS/卡尔曼的滤波器77 提升复杂场景下的泛化能力大局部AI算法在音频通话场景和针对目标声音的训练、验证集上会有很好的效果，但在未见过的测试集上效果会 有所回退。为保证算法在常见环境中的泛化能力，云信团队选择了从实时音视频通信（RTC）领域的数据集入手。目前AI音频相关的训练、测试数据大多集中在ASR、TTS等领域。在音频前处理的数据相对较少，针对音频通 话的数据那么更加稀缺。云信团队针对场景、采集设备，自行做了大量的数据采集和标注。通过开源数据

22、、采购数 据，对噪音进行实际录制，沉淀了一个多场景噪声集。云信团队在不同业务线的不同任务的算法研发时，可以从噪 声集中挑选出比拟有代表性的噪声作为占比重大的局部，并遍历一些其他噪声作为占比小的局部。音频处理也会在 不同场景下关注对不同混响、音乐源信号的抑制，同时也运用不同的数据增强方法，包括噪声注入、信号随机截 取、非线性拟合等。鉴于RTC采集设备相较传统 通信更加复杂，云信团队积累了大量的端侧设备处理经验：在涉及到设备扬声器 的数据（比方AI-AEC、AI啸叫检测的数据）时，通过覆盖设备录制和数据增强大量遍历模型所需数据；在只涉及 麦克风的数据时，由于麦克风的一致性相对较好，会相对减少覆盖设

23、备数量。另外，RTC领域的数据标注十分耗 时，云信团队会同时采取手动标注和交叉检查。为了进一步提升效率，在手动标注之前，团队还会用算法脚本初筛 一遍数据。(a) Original(j) Window Warping(b) Jittering(d) Scaling(e) Magnitude Warping(f) Permutation(h) Time Warping(g) Window Slicing 低开销谓例落地与稳定性提升相较于DSP处理，AI算法会带来更大的开销，导致本钱十分高昂。因此，目前RTC音频通话大局部需要在终 端做计算处理。因此，在研发过程中尤其需要关注算法的开销，以及其在不同

24、终端设备上的稳定性。针对端侧性能 提升，云信团队主要通过算法模型剪枝、推理加速、推理指令集优化等操作实现。在性能评估中会按照不同平台的 设备性能先进行排序，覆盖测试不同厂商、CPU的设备，评估RTF、CPU占用率、设备温度等指标。 实时音视频环境中的AI算法在端侧低开销和高稳定的条件下，网易云信已经落地了多个AI音频算法。2021年，云信团队的两篇论文被第50 届国际噪声控制工程会议INTER-NOISE收录。“A neural network based noise suppression method for transient noise control with low-complex

25、ity computation旨在使用Al抑制键盘、敲门声等“抑制非静止噪”。针对RTC场景，网易云信成功研发了轻 量级、适合全平台终端的AI音频降噪算法。该算法使用了优化的谐波相关性(Modified Harmonic- Correlation) ,和独创的损失函数，在一个RNN模型上进行训练。在终端运行时，算法结合了网易云信自研的 NENN推理框架，在大幅提升降噪效果的同时，保持了一个极低的运算复杂度。1“A real-time music detection method based on convolutional neural network using Mel-spectrogra

26、m and spectralflu提出了一项音乐检测器，利用CNN网络对不同场景中的音乐声音进行检测和减损。作为国内行业 中的首个AI音乐训练检测模型，网易云信结合了自研的帧间频域特征和一个轻量级神经网络，训练出了一个音乐 检测率高、鲁棒性强、计算开销小，适合在各个端侧落地的AI模型。通过对环境声音的检测，模型能够区分出音 乐和非音乐场景，并基于此先验信息，对RTC中音频APM处理进行有针对性地调整，在保证语音信号质量的同 时，大幅提高音乐信号的质量。2另外，云信团队的麦克风啸叫检测方法在今年被ICASSP2022收录3o该工作采取了一种基于卷积递归神经网 络的方法，用于RTC应用中的啸叫检测

27、，实现了出色的准确性和低误报率。云信团队使用不同的移动设备收集和 标记啸叫数据集用于模型训练，并选择对数梅尔谱作为输入特征，实现了 89.46%的检测率和0.40%的误报 率。此外，该工作所提方法的模型大小仅为121 KB,并且已在实时运行的移动设备中实现。如何驾驭AI加持下的视频处理技术？视频处理技术指的是对全图或全图中某一区域做视频效果的改进和提升，因此需要进行像素级处理。RTC实时通 信、直播及点播场景业务往往大量使用720p和1080p等高清分辨率，导致处理的数据量非常大，但以上场景对 画面质量存在较高要求，不能采用下采样等方式来降低数据量，这要求视频处理算法必须能够兼顾计算实时性及低

28、 功耗的要求。从2020年初至今，云信团队在稳定的视频通信质量基础之上，成功研发了多种智能视频处理与编码技术，包括实 时AI视频超分算法、智能视频增强算法、深度学习的视频编码器等，为直播、点播和RTC场景提供核心技术。 视频处理技术目前服务于网易云信音视频通话SDK、网易传媒、有道、LOFTER和网易云音乐等产品线。其中，云信团队深耕的技术方向包括建重组网络，针对视频处理模型、推理设备的深度优化,以及持续改进计算 机视觉网络设计和训练方法。 轻量级网络智企云信RFDECB （如图）是云信团队设计的自适应神经网络，设计采取了逐级的残差特征提取，加上每级的重 参数化结构，能更高效地提取图像特征，且

29、运行速度快4。RFDECB在顶级学术会议CVPRNTIRE2022获得高 效率超分辨率挑战赛总体性能赛道冠军，以及运行时间赛道季军。如下列图所示，RFDECB在训练阶段用面向边缘的卷积块（ECB）代替残差特征蒸镭模块（RFDB）中的SRB浅残 差块。在推理阶段将面向边缘的卷积块（ECB）转换为普通的3x3卷积层，该方法可以更高效地提取图像的纹理信 息和边缘信息，在降低开销的同时提升网络性能；同时对增强空间注意力（ESA）模块进行裁剪，减少参数量以及 增加池化层步长，进一步减少了算法开销。41内容风控：互联网信息爆发式增长J内容安全审核成为企业新挑战网易易盾为汽车之家提供全链路内容安全保障服务

30、4146音视频通信：富媒体信息时代，实时音视频技术既要稳定，也要创新46网易云信携手网易云音乐，打造互动直播和语聊房极致互动体验自然语言处理：客服场景多元化，亟待AI技术带动客服体系智能化升级51网易云商为松果出行部署在线机器人，人效提升至220%,年节省200万本钱5：变革中的AI技术56可信AI58Data Centric Al 61展望Al技术前沿63多模态技术64无监督与超大规模AI系统65工程自动化技术66尾声 67鸣谢68附录69技术注释69参考文献72目前，基于RFDECB网络的视频超分技术已经落地云信音视频通话SDK, LOFTER,服务超过10,000家客户。云信智码超清云转

31、码技术也是搭建在RFDECB网络之上，为客户提供了视频清晰度更高且码率降低40%以上的 转码，广泛应用于直播点播、互动直播业务。ECBECBConv-lxlConv-lxlConv-lxlConcatConv-lxlECB Conv-lxlConv-lxlConvertConv3X3Conv 3X3Sobel-DyLaplacianSobel-DxESA LayerConv 3x3Conv 3x3 模型优化技术为了能在各种设备上运行，云信团队对模型进行了大量优化，保证模型处理的高效，同时保持效果稳定。这些优化 大量使用了模型剪枝技术来压缩模型参数量，用以减少推理时间。剪枝训练过程中对每一个通道

32、引入一个缩放因 子，接着结合训练网络权重和这些缩放因子，将小缩放因子的通道剪除，在不影响模型精度的同时减少模型的大 小。另外，优化工作还尝试了多种蒸慵方法，包括离线蒸镭和在线蒸镭两种方式。其中，离线蒸镭是单独训练老师 网络；在线蒸播是教师网络带着学生网络一起学习，使得小模型的精度尽可能逼近大的教师模型，提高小模型的精 度obefore pruningafter pruningpruningsynapsespruningneurons离线蒸憎第一步第二步H移除较小尺度因子的通道在线蒸僚迭代剪枝 设备优化技术大量的计算发生在端侧，尤其是移动端，各种设备参差不齐，只靠轻量级的网络不能完全解决问题。云

33、信团队针对 移动端自研了深度学习推理框架。框架大量使用GPU进行推理计算，同时对CPU进行了大量精细的SIMD优 化。除了常规的优化外，云信团队还对视频处理的特点做了创新性的优化，使用intl6量化和稀疏推理。相比于float32全精度推理，intl6能够直接在推理端量化，带来50%的计算量节省，运算精度几乎不下降甚至 在局部场景有提升。在视频超分中实际测试发现，intl6客观指标PSNR只比float32低0.03db。而相比于流行 的int8, intl6大大优于int80详细如下图：视频超分PSNR (db)从推理时间上看，in口6比float32和int8量化都明显更快:视频超分推理耗

34、时(ms)在推理引擎NENN中高效实现了该算子及对应的稀疏推理技术，intl6对计算量节省30%以上。Hashiri0(2. 1)1(3. 2)output sites for key=0,value=(2,l)AlAlAlAlAlAloutput sites for key=l,value=(3,2)A2A2A2A2A2A26(1. 2)7(2. 2)0(0. 0)1(1. 0)2(2, 0)3(0, 1)4(1. D5(2. 1)Hashout vout keyout基于上述技术优化，云信团队的深度学习算法在大量移动设备中得以应用，即使在一些较差的设备上也能运行视频 超分等算法，有效地提升

35、了用户视频的体验。下列图展示了通用模型上采用NENN推理框架和几款开源的推理框架的速度比拟。可以看出，NENN在移动端推理 速度上有明显的优势。Red mi K20 Pro (Snapragon 855)10080604020088.44MobileNetv2 ResNetSOSqueezeNet自研超分模型 NENN 开源方案A 开源方案B 开源方案C计算机视觉网络设计和训练方法计算机视觉任务主要指目标检测、识别分割处理等两个类别的任务。这两个类别的任务对AI的网络要求也是不同 的。云信团队主要通过网络设计优化、训练方法优化提升了上述任务的效果。在优化网络设计方面，云信团队将流行的encod

36、er-decoder网络结构及其变体设计成为主干网络，并加入金字塔 结构以进一步增大感受野，同时更高效地融合各层特征。除了图像数据外，网络在loss上加入了各种特征信息来 提升学习效果。在训练方法上，云信团队标注了大量数据，同时采用了如下多种方法，包括数据增强扩充样本、随 机更换、多尺度训练、难例挖掘等。模拟前一帧mask随机置0真实前一帧(随机间隔)增强策略模型bg|驾驭Al加持下的自然语言对话技术自然语言对话技术要求系统具备从零学习的能力，快速领悟行业知识，并且针对业务场景进行多轮、有 效的对话。在自然语言对话技术的支持下，智能客服机器人提供从文字咨询、智能外呼、业务办理等多维度的客户服务

37、，从客 户获取到订单管理实现了无人化、智能化，并越来越多地在金融、零售、房地产、物流等行业应用。智能客服领域也是网易智企的重点业务。自2016年以来，网易云商团队（以下简称“云商团队”）不断完善旗下 的智能机器人产品网易七鱼，为企业提供整套智能化的客户服务解决方案，目前已有40万+企业客户正在使用云 商提供的在线客服、云呼叫中心、客服机器人、工单系统等服务O云商团队非常重视对前沿自然语言对话技术的提升：通过优化客服的语义匹配算法和对话框架，云商团队高效解决 了复杂场景下的访客需求；通过形成基于行业know-how的知识包，成功提高了场景的快速落地能力；通过分布 式计算及去GPU化，实现了自然语

38、言对话系统的低本钱及高可用性。这些技术推动云商智能客服机器人的持续进 化，提升客户的满意度。如何高效解决访客需求？云商客服机器人是一款集知识库问答、任务型多轮对话、表格知识图谱、闲聊于一体的多功能产品。B端客户可 以根据自身业务场景灵活使用，解决自己平台的C端访客查询，在节省大量的人力本钱的同时实现7*24小时不 间断服务。为了不断优化机器人的应对能力，云商团队着力于提升基于大模型、多模型集成与知识蒸储的语义匹配算法、基 于FAISS语义搜索引擎的智能推荐方案和基于知识图谱的问答能力等三个方向。 基于大模型、多模型集成与知识蒸储的语义匹配算法云商智能客服机器人的基础功能是识别访客意图。云商团队

39、采用当前主流的Transformer结构，同时使用蒸储加 上多模型集成思想，既提升了模型的推理速度，也提高了意图识别的精度。算法采用sentence-bert模型思想， 并在此基础之上做了重点优化。具体而言，云商团队首先使用了大量的To B场景专用无标签语料训练基础大模型，使用问答互动平台、开源比赛 相似度语料做fine-tuning,使模型具备通用的相似度判别能力。其次，模型在人工标注的客服场景语料上进一步 训练，加强垂直领域下的相似度识别能力。通过调整语料比例，云商团队训练出了多个意图识别大模型，使用大模 型离线对线上日志做推理，采用集成思想，确定最终的软标签，最后使用软标签蒸储技术，把效

40、果蒸镭到一个参数 小的模型上。由此，云商团队可在上线时部署小模型，做到速度快、效果好，而且落地本钱低。基于FAISS语义搜索引擎的智能推荐方案为了方便B端客户配置自己的知识库，云商提供智能问法推荐功能。根据客户的问题和语义搜索引擎，系统会提 供一系列语义相似但是表述不同的句子供选择，帮助客户快速完成配置工作。云商团队使用的算法是基于FAISS 的语义搜索引擎。在牺牲极小量精度的前提下，这个方法能显著加快推荐速度，相较基于字符的ES检索，可以 推荐出更多字形不同、语义相近的句子。另外值得一提的是，语义搜索引擎的关键步骤是把句子转换成句向量，云 商团队采用的模型是客服领域的专用模型，同时对向量长度

41、执行PCA降维操作，进一步提升检索速度。 基于知识图谱的问答能力云商提供了表格知识图谱的功能，精确识别不同的商品型号，以及型号的不同属性。云商团队把销售领域表格分为 实体、属性、答案三个局部。进行实体和属性识别的是语义相似度算法，通过客户给予实体或属性配置的不同问 法，命中一个或多个实体和属性。通过识别实体和属性，系统能够锁定唯一的一个单元格，把答案反应到C端客 户。在这个功能的基础之上，云商的表格知识图谱还支持上下文对话能力，具备反问和推荐的能力。如何实现低本钱及高可用？作为平台型应用，云商团队不断升级多种技术指标，确保服务业务场景的丰富性和持续反应。在低本钱及高可用的 总目标下，云商团队的

42、工作重点是白名单管理平台、计算降本增效（去GPU化）、模型多版本管理平台以及业务 问蔻定位及效果监控。 白名单管理平台基于平台上的各种实时互动，云商需要快速、低本钱地解除“不良案例”的坏影响，建立补偿模型。云商团队推出 了白名单管理平台。平台可以使用正那么表达式和完全匹配的方式拦截不良案例，并指定两种问法的相似度分数，最 终到达补偿模型的目的。这种方法减轻了算法人员更新模型的本钱，并且可以快速地解决用户问题。 提升性能并降低本钱（去GPU化）从性能的角度来看，使用GPU做模型预测是最正确的选择。但这种处理器的采购周期长、供应链不稳定，紧急状态 下无法快速扩容。另外考虑到产品私有化本钱以及可移植

43、性，GPU可能会成为商业化上的一个绊脚石。云商团队 采取两个方法，能够去掉GPU并保证运算的高性能。首先是使用CPU进行离线计算，提前将知识库中的句向量 存储下来，做到拿来即用；其次是对知识点进行拆分，通过分布式计算，合理地分配每个线路需要计算的问法，最 终将结果汇总，到达高效的计算，降低接口 RTo 模型多版本管理平台随着不同行业用户的增长，云商平台上统一的通用模型很难为每个用户到达理想效果。为此，云商团队推出了定制 服务。通过模型多版本管理平台，为每个客户定制专属模型，并且可随时进行版本回滚。业务问题定位及效果监控（日志错路追踪工具、机器人监控服务）如果线上出现了云商的知识匹配问题，系统会

44、优先通过日志链路追踪当时的交谈情况。云商团队通过traceld将 整个对话接口串联起来。每个请求都可以通过traceld将日志抓取出来，进行问题排查。不同模型的详细信息也 会被展示出来，协助分析新旧模型的优劣。与此同时，对模型的效果监控也是不可或缺的。通过网易的机器人监控 平台，云商团队可以清楚地知道每个机器人的匹配率、完全匹配率、推荐匹配率、解决率等情况。以此为依据，了 解评转人工、情绪转人工等比例，对机器人的聊天内容进行质控，快速定位到限制机器人解决率提升的瓶颈。robotld8 丽恒ME .客服机器人.9V Q防火It20”gYX OOM* 0?f0e4962*WM064bgi3928e

45、1伍24202-00-9 O9.，:S5火纪 2022-0d8Mfvor50U5754750O4428b2064ad71M05552100002Q token： 8ebf613a5b38e7090bc8c87question防火爆配traceld也配美熨1匹配蛆果1麻对AF做SANGFOR VPN.移动客户不接人冬么 配匹配同“火pdUn怎么配0.965988帐型。分0 96S96Z7806074626新驾，爆小网分0.9659877806074626ruleld224s2837正重1当前模型海交内分ift於认时博:2022-09-08 至 2022-09-09qimllon traced匹配

46、类也匹配结果新模型防火配1标窜向下一代防火墙町愕般火彳的区别什么？匹配同下一代信火*10 ,防火正制80.9780178新空得分0.93576362855606新第5U规那么翻分0.93576362855606ruield22443613导出尊号会话时阉009-0800:29109-0801:03209-0805:41309-0806:38409-0806:44自定义尚：SessionlD操作7305278355查看会话详情7305294259强看合话洋情7305345804包看会话详情7305359991查看会话管情7305361974宜看会话理情日V! ”次率弼效会话总数未“决敛转入工类S

47、:然”的人工（会话：37,比91:7.68%）情纯IR那么”人工（会h：23,比例1:4.77%）答案引导W人工值惧，与。.比例622%）2022-09-08 0.9732364487具他蟆人工会话$,比例:1.24%）（会话. 12,比例.2.49%）口要匹配转人工,会话僵;102,比例21.16%）自定义拦能司转人工（含送：,比例:70.49%）差诃转人工（会话：4比例56%）fl堵IR划转人工（会话5,比例820%）善案引身H人工（会话：，比俣:8 20%）2022-09-09 1.64983185X他的人工（会话比例:1.64%）stf *帜唱同将人工（会话3,比例492%）WFeWAT 保话： 14,比傲1:22.95%）如何实现快速冷启动？云商智能机器人的表现基于对行业知识和对话语境的理解，这就要求初始系统具备学习行业知识和极强的