认知智能大门——企业如何构建NLP能力.docx

认知智能大门，企业如何构建NLP能力|引言1引言率面这张照片，你会想到什么？机器人能听懂想，也是AI研究的终极目标。人工智能（机歌渝像人一样喜怒哀乐吗？这是大家对5.3知识服务代表着企业NLP能力驱动业务创新的未来企业如何从海量数据中获取信息和知识，最终达到企业智慧，决定了企业最终的智能化程度。知识中台通过整合企业内外多方面的 数据，并进行统一加工处理形成企业的知识，以知识服务的方式支撑企业的智能化运营和业务创新，支撑企业决策的每个细节，快 速响应内外部的变化。NLP和知识图谱是构建企业知识中台的关键技术，其核心功能包括知识表示、知识生产、知识加工和知识应用四个部分。下图给出 了知识中台的功能架构示例：应用场景r企业搜索、企业知识库r智能客服）1个性化推荐;r行业图谱,1r决策引擎:知识表示r核心功能关键技术数据源知识建模知识表示图谱构建自然语言处理知识图谱深度学习公共开放数据 运维历史数据 客户反馈数据网络媒体数据营销活动数据6有效的组织和丰富的人 才资源是企业NLP能力建设的保障6.1避免NLP团队沦为业务部门的技术外包利用NLP技术进行智能化的企业转型，不 仅是一种技术的引进应用，更多的是企业过程中会遇到各种困难或阻力，包括企业间的不匹配等。需要建立一种自上而下的部门的外包开发人员。在NLP技术团队建设方面，团队至少应包适合企业自身业务的技术团队。负责理解业务需求，制定并推进开发计7成本投入：有计划的持续投入和良好 的成本管控是NLP能力建设的基础NLP能力建设的战略实施需要有配套的 资金与时间投入。在NLP能力建设的初 期，需要搭建软硬件资源，组建具有 专业能力的技术团队，同时引入技术服 务商。在项目实施过程中，需要获取相 关数据，对数据进行标注和处理，优化 算法的性能，以达到业务部门的实际需 求。在项目上线运行后，需要持续监 控算法性能，并引入自学习机制不断 优化。最终，搭建AI平台，更好地支持 NLP应用的规模化开发。为了保证NLP能力建设的可持续性，所有 的花费都需要进行提前规划和审查。首 先需要进行详尽的成本核算，细分成本 类型，明确成本结构，避免资源的重复投 入；其次，要建立项目预算的审核审批制 度，明确审批人责任；同时，充分调研市 场，获取合理的价格信息；最后，制定合 理的KPI考核，激发团队的战斗力，提高 项目实施效率。构建了具有2000多个标签的旅游特色标在利用NLP技术推进企业智能化方面已演多种顾客角色，并将培训内容编排到 培训机器人知识库的方式，成功实现了色的各类实体、关系及属性。结合指标、办理时间缩短至30分钟左右；显著提升相较平台上线前至少降低了70%。实现了9结语Al发展今天，已经走过了计算智能和感 知智能阶段，开始迈入认知智能。 NLP技术作为认知智能的核心，能够帮助企业转型升级，驱动企业业务 创新，享受知识服务带来的红利。企业 从“能用”到“好用”再到“智用” 的NLP能力建设过程中，需要“远处着 眼，近处着手”，先进行战略定点，后 逐步开展场景定向开发能力建设，AI平 台建设和知识服务建设，通过自上而下 推进的方式和持续人才培养的战略，保 证项目的顺利推进。同时，谨慎合理的 选择恰当的技术服务商也关系到项目的 成败。1.1得语言者得天下NLP （Natural Language Processing,自 然语言处理）是AI的子领域，同时涉及 语言学和计算机科学，被比尔盖茨称 作“AI领域皇冠上的明珠”。微软全球 执行副总裁沈向洋认为在AI领域“得语 言者得天下"。OpenAI（2015年成立的 一家人工智能公司）开放了 GPT-3的访问 接口，它可以根据描述生成HTML布局 和代码、创建UI设计、生成机器学习代 码，将口语化描述转化为法律语言， 甚至可以根据关键词进行文学作品的创 作，让人们体验到AI的强大之处。在中国新基建背景下，NLP将迎来更 快发展。以AI为代表的新技术基础设 施将进一步支撑传统基础设施转型升 级。NLP作为AI的核心技术之一，已经 成为企业在认知智能时代实现转型升级 的关键。清华大学刘知远教授认为，当今深度学 习和知识图谱是NLP技术发展的两大引 擎。深度学习技术能够让计算机具备思 考的能力。知识图谱能够提供计算机进 行思考的知识基础。在知识图谱加持 下，计算机已经能进行简单的知识推理 和认知，在智能问答、智能搜索和智能 风控等方面崭露头角。融合知识图谱的 NLP技术已经打开了计算机实现认知智 能的大门。1.2 NLP为企业带来的价值对于各大企业来说，NLP到底能带来 什么？ NLP技术是企业在认知智能时代 实现转型升级的关键技术，主要用于解 决人与人的交互问题、企业间的交互问 题、硬件与人的交互问题。企业服务在 发展的过程中，唯一不变的追求是“降 本，增效”与“提质，NLP能够 为企业提供：数据驱动的业务洞察：通过企业内外服 务积累的海量结构化数据和非结构化数 据，洞察客户需求和业务痛点，帮助企 业找到需要补足的短板，提升业务质 量。如通过对互联网上的新闻文章、论 坛评论以及客户反馈等海量文本数据进 行分析，可以抽取与目标企业的核心话 题，分析出其竞争对手的产品策略和发 展趋势，了解到客户对企业及其产品的 舆论评价等。交互客户服务：智能化的交互方式打造 全流程无间断的客户服务系统，提高用 户体验，并通过分析交互反馈，聆听客 户声音，解决客户关心的问题。如当下 典型的应用“智能客服机器人”，代替 人工座席，帮助回答90%的问题，大大 降低客服成本。目前德勤DSCOE团队 自主研发的Bot-Alpha机器人工厂能够支 持业务人员根据自己的业务需求，通过 图形界面的方式迅速创建自己的机器人, 并应用到实际业务场景，能帮助企业迅 速提高运营效率。高效运营工具：通过打造智能化的运营 工具，帮助企业缩短业务流程，实现业 务自动化。在企业运营过程中，很多时 候交互需要涉及到语言和文字信息，利 用NLP技术可以辅助企业做到文档处理 的智能化。如企业运营中会涉及到很多 文本合同拟定、校验、审核和归档等， 利用NLP技术可以实现自动对文档进行 结构化信息抽取，进行合同风险点的识 别，法律合规风险的评估以及与标准合 同模板的比对等。重复性劳动的替代：通过AI机器人代 替重复性较高的工作，降低企业运营 成本。NLP与RPA进行结合是当前AI在 企业进行运用的一大亮点，利用NLP技 术识别出任务，然后再利用RPA执行任 务，可以极大代替重复性劳动。如发票 报销是一个耗时耗力的工作，可以利用 OCR+NLP技术识别出发票内容和报销目 的，然后利用RPA进行报销内容的填写 和报销流程的处理，能够完全实现发票 报销的自动化。1.3 NLP能力建设成功的六大要素策略规划商业价值捕获场景选择一成本投入O006SQ/ .J 止 .0 0。/O -<>>1? 0 6 0。 an «%，,先” ;卜L e七。,« 广彳八了0605013. ;%，、%06SQ :v:vr. ： rtv/rr-7JQ 。，七七七io %106sRJ06SQ3 /06so8。6so206s6/6 k 心L: 嬴 7AoL一一一二:一 门:二二:二SHR麦 2 丫一tovvj/K)X”。，>>，（«，% 产七7+*%,*"vz七：1I :006n。don2°一 mo OO啰。>°6 Q -UQ2策略规划：结合自身业务实际，制定 NLP能力建设战略在底层数据与技术基础未扎实的情况下，NLP能力建设规划不可盲目求快、求全。制定 策略规划时，需要综合考虑企业NLP能力、业务发展重点和数字化现状，科学有序地建 设企业NLP能力。2.1企业NLP能力分成“能用”、“好用”和“智用”三个层次制定企业NLP能力建设战略时，需要根 据获取的难易程度认识NLP的能力层次。 企业NLP能力可以分成“能用”、“好用” 和“智用”三个层次。需要在进行NLP能 力建设的时候，按照逐层递进的路径开 展实践。能用：具有基础的开发环境，能针对特定 场景定向开发，使企业具有NLP应用定向 开发能力。企业可在此阶段对具体的业务 场景进行“一对一”的智能提升,初步享 受NLP能力带来的红利。好用：具有统一的NLP开发平台，面向所 有业务场景进行统一开发部署，实现模型 复用，使企业具有NLP平台化开发能力。 能够统一NLP技术能力，并不断丰富模型 以快速响应业务需求。智用：具有统一的知识服务平台，将企业 所有结构化和非结构化数据进行融合， 实现知识复用，使企业具有NLP知识服务 能力。企业在此阶段能够源源不断地将 知识渗透到企业各方，实现知识驱动业务 创新。2.2 NLP的实施路线图应该从“远处着眼，近处着手”明确了NLP能力层次后，企业可根据自身 业务情况，制定分步执行路线图。首先要 确定企业应用NLP技术的愿景，然后根据 自身业务特点与NLP技术结合。具体路线 图可以参考：第一步规划远期目标，对比愿景和当前 的技术能力，分析全业务线，规划NLP的 潜在场景。第二步，NLP开发的基础设施建设，选择 典型业务场景，进行应用定向开发。第三步，搭建AI平台实现NLP应用开发的 平台化、自动化和全生命周期管理，实现 NLP模型的共享。第四步，搭建知识中台，基于NLP和知识 图谱，整合内外部数据，统一企业知识 服务。第五步，全面实现知识驱动业务创新的发 展模式，将知识服务渗透到企业生产运 营决策的细节中。3场景选择：典型业务场景应用是 NLP能力构建实践的最佳起点应用场景挖掘是AI项目成功的关键因素。战略定点完成后，需要NLP技术部门牵头，与业务部门一起整理潜在的NLP应用场景，最 终形成NLP应用场景开发部署蓝图。在场景梳理的过程中，若没有NLP技术人员参与，可能会存在场景过度乐观、脱离技术或者漏 掉支持场景的情况。下图是某消费品企业涵盖企业全价值链的NLP潜在应用场景举例：研发管理 行业发展趋势 消费者意见洞察 竞争对手动态产品概念挖掘生产制造维修经验检索障碍关联分析供应链管理单据识别地址对齐合同信息抽取热门事件聚集 消费者反馈分析 客户画像售后服务 客服机器人 客诉分析 公司舆情监督3.2选择典型业务场景进行试点开发典型业务场景需要企业结合业务价值和 技术可行两方面进行选择。业务价值需 要关注预期收益、投入成本、业务边界 以及部署阻力；技术可行需要评估技术 难度、数据基础、计算资源和开发周 期。综合考虑以上要素后，企业可以选 择1-2个典型业务场景进行试点开发。具 体步骤可以参考如下：概念验证：根据当前的业务需求和资源 基础，规划较小的实施范围，进行 POC开发以完成概念验证，原则上不 超过3个月。分期上线：将长期的业务目标进行阶段 划分，每个阶段以层层递进的方式进行 功能升级，每个阶段需控制在3-6个月。经验总结：每个阶段都需要进行经验总 结，并在项目完成后形成企业独有的 NLP项目实施方法论和流程。4数据获取：持续的数据 更新是项目成功的基础注、加工和集成等环节。具体执行中，首数据质量监控需要融合在数据持续供给 的过程中，可以通过数据分析和数据采据供给机制，包括数据的收集、清理、标题，并提出改进的方法。5结合NLP能力的层次打造稳步推进 的技术路线前文提到NLP能力分成“能用”、“好用”和“智用”三个层次，本部分将对实现三个层次分别给出具体的技术行动方案。5.1 面向特定场景需求，进行NLP模型的应用开发 是NLP能力建设的初级阶段在NLP初级阶段，企业应该专注NLP基 础建模能力的建设，包括软、硬两方面的 实力。硬实力方面，首先建设数据平台，实现多 方数据的接入、存储、管理和统一的对外 服务。其次，准备计算资源，通过购买物 理GPU服务器或租用云服务器。接着，搭 建NLP模型训练环境，在GPU服务器上 搭建深度学习框架、NLP算法库和模型 库。再次，搭建网络环境，实现线上模型 发布。最后，通过自建或者外包的方式, 搭建标注服务。软实力方面，应组建核心NLP技术团队， 研究技术发展的最新进展，掌握最新技 术，并深入企业业务场景，透析NLP技术 的应用点。该阶段会形成如下图的开发 模式，NLP技术人员可以在基础环境下 针对特定的业务需求进行定向开发。幅）（场景B J模型测试i5 i!模型部署：i：模型测试ij =7_.7'：士:LT力面向场景的NLP应用的定向开发模式-：一七二为产 -yJ、.!i数据准备!（数据标注?：模型开发I '模型训练 外模型部署jli»li iI J：1 I；9mh.7 ji G卜!数据准备；s数据标注!;i模型开发3 ；模型训练场景A）占数据准备! 'i数据标注了i模型开发!模型训练”模型部署i中3飞I：模型测试i!k.U 数据平台）计算资源）训练环境）（网络服务）标注服务 ）.J5.2平台化的NLP开发，是一个企业NLP能力成熟的标志定业务场景的NLP应用，但这种模式存在理。下图给出了一个AI平台（NLP部分）的建设功能架构示例：源调度和管理平台，容易造成资源浪费；缺少统一的模型发布和监控平台，模型基于AI平台开发NLP的方案应运而生，其场景应用平台运维管理底层资源GPU算力管理性能监控和对外服务接口管理等.NLP应用的开发上线，涉及到业务支持, 数据处理，模型学习和模型监控四个方通过模板来规范方案设计。平台支持统