人工智能技术概览.pptx
《人工智能技术概览.pptx》由会员分享,可在线阅读,更多相关《人工智能技术概览.pptx(57页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、北京久其软件股份有限公司2024年3月11日人工智能技术概览人工智能技术概览久其软件-李坤奇目录目录北京久其软件股份有限公司2024年3月11日1、人工智能定义、关联2、人工智能主要应用领域3、机器学习算法及分类4、主流神经网络简介5、NLP的主要技术与方法人工智能定义人工智能定义l用机器,通常为电子仪器、电脑等,对人的意识、思维的信息过程的模拟。l人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。l数据:预测、挖掘l语音:语音识别、语音合成、声纹检测l文字:分类、翻译、对话、NLP、NLU、NLGl视觉:图像识别、生成作画、视频理解l运动:智能控制、仿真机器人、自动驾驶l思考:简单
2、推理、机器人写稿、AlphaGo北京久其软件股份有限公司2024年3月11日涉及面最广的交叉学科涉及面最广的交叉学科2024年3月11日人工智能自动化控制计算机数学统计学逻辑学归纳学系统学概率论哲学心理学生物学经济学语言学工程学认知学仿生学工业工业4.0,自动化生产线,自动化生产线l旨在提升制造业的智能化水平,建立具有适应性、资源效率及基因工程学的智慧工厂,在商业流程及价值流程中整合客户及商业伙伴l其技术基础是网络实体系统及物联网北京久其软件股份有限公司2024年3月11日特斯拉工厂曝光,整个工厂只有150个机器人,超震撼机器人,好帮手机器人,好帮手北京久其软件股份有限公司2024年3月11日
3、奔跑跳跃搬东西,这种机器人平衡能力比人类还强自动驾驶自动驾驶l谷歌、特斯拉、百度、苹果l集各类人工智能技术一身北京久其软件股份有限公司2024年3月11日机器学习机器学习l数据爆炸式增长催热机器学习l统计学、概率模型(贝叶斯)、神经网络l有监督学习、半监督学习、无监督学习主要区别在于人工投入的比例无监督学习只有极少数应用l投多少人工,有多少智能?北京久其软件股份有限公司2024年3月11日强化学习强化学习lreinforcement learning,RLl又称再励学习、评价学习l智能系统从环境到行为映射的学习,以使奖励信号(强化信号)函数值最大l处于研究阶段l无人机,l自动化控制,l电子游戏
4、北京久其软件股份有限公司2024年3月11日迁移学习迁移学习lTransfer Learning,TLl收集数据成本高;训练耗时;重复利用已有知识l样本迁移、特征迁移、模型迁移、关系迁移北京久其软件股份有限公司2024年3月11日人工神经网络人工神经网络l人工神经网络模仿动物神经网络特征,进行分布式并行信息处理的算法数学模型。l网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。l优势并行分布处理高度鲁棒性和容错能力分布存储及学习能力能充分逼近复杂的非线性关系l激活函数、损失函数、梯度下降北京久其软件股份有限公司2024年3月11日深度学习深度学习l深度学习
5、源于人工神经网络,多个隐含层感知器。l深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。l各层设计、图形化调参、学习速率北京久其软件股份有限公司2024年3月11日CNN 卷积神经网络卷积神经网络lConvolutional Neural Networkl图像领域应用非常成功,人脸识别超99.5%l全连接 局部连接,权值共享l图像识别、OCR、语音识别(DBN+CNN+RNN最好)2024年3月11日特征数量卷积核大小RNN 循环神经网络循环神经网络lRecurrent Neural Networkl(t+1)时刻网络的最终结果O(t+1)是该时刻输入和
6、所有历史共同作用的结果l语音识别、NLPlBidirectional RNNs、Deep RNNs、GRU RNN北京久其软件股份有限公司2024年3月11日LSTM-长短期记忆网络长短期记忆网络lLong Short-Term Memory Neural NetworklRNN时间上传递的神经网络,可能“梯度消失”l通过门的开关实现时间上记忆功能,防止梯度消失l遗忘门l输入门l输出门lSeq2Seq机器翻译lAttention Model对话2024年3月11日GAN-生成性对抗生成网络生成性对抗生成网络lGenerative Adversarial Networksl它有两个模型:一个生成
7、器,一个判别器l没有损失函数,优化过程是“二元极小极大博”北京久其软件股份有限公司2024年3月11日深度学习框架深度学习框架库名称开发语言速度灵活性 文档适合模型平台上手难易Caffec+/cuda 快一般全面CNN所有系统中等TensorFlowc+/cuda/Python中等好中等CNN/RNNLinux,OSX难MXNetc+/cuda 快好全面CNN所有系统中等Torchc/lua/cuda快好全面CNN/RNNLinux,OSX中等Theanopython/c+/cuda中等好中等CNN/RNNLinux,OSX易2024年3月11日lCaffe2013年底,由UC Berkely
8、的Yangqing Jia开发计算机视觉领域首选CaffelTensorFlowGoogle主推的开源学习框架有众多预先训练好的模型,开发简单速度慢,内存占用较大lTorchFacebook力推的深度学习框架,主要开发语言是C和Lua有较好的灵活性和速度,开发也比较简单缺点是接口为lua语言,不支持Python机器学习中的问题与应对机器学习中的问题与应对l欠拟合添加其他特征,减少正则化l过拟合L1、L2正则化l不收敛复审输入数据、修改模型设计、改变参数初始化方法、调整学习速率l数据集过小转换扩增l运算过慢分布式运算,换用GPU或专用神经网络处理器l调参复杂分开训练、参数各种图形化展示北京久其软
9、件股份有限公司2024年3月11日NLP-自然语言处理自然语言处理l自然语言是人类智慧的结晶,自然语言处理是人工智能中最为困难的问题之一l广义的NLP包含NLU、NLGl用到统计、概率、神经网络等各种算法l文本分类 l信息抽取l人机对话l领域知识图谱l自动写稿北京久其软件股份有限公司2024年3月11日中文分词中文分词l11款开放中文分词引擎大比拼l目前主流分词包均采用复杂的统计模型,HMM、CRF、SP(结构化感知)l首先统计大量已切分文本特征训练模型,然后针对输入文本搜索最佳切分方式l目前哈工大语言云、Boson云效果最佳lTHULAC(清华)是开源包中效果最佳,也非常快l结巴分词用的很广
10、(Python),效果也不错l没有完美方案,90%以后每提升1点都要巨大代价北京久其软件股份有限公司2024年3月11日词性标注词性标注l中文词类活用现象非常多l没有英文的变形:ing、ed、er、lyl词性命名标准出自北大,基本统一l目前都只提供静态词性,非准确标注l在关键词计算、事件发现、情感判断有价值l句法分析、语义理解的前提l词法分析、句法分析、语义理解相互交织依赖,制约了词法技术提升北京久其软件股份有限公司2024年3月11日NER命名实体识别命名实体识别lNamed Entity Recognition又称作“专名识别”,是指识别文本中具有特定意义的实体l三大类:实体类、时间类和数
11、字类l七小类:人名、机构名、地名、时间、日期、货币和百分比l基于规则和词典的方法采用语言学专家手工构造规则模板,选用特征包括统计信息、标点符号、关键字、指示词和方向词、位置词(如尾字)、中心词等方法,以模式和字符串相匹配为主要手段l基于统计的方法HMM、ME、SVM、条件随机场(CRF)l神经网络识别NN、CNN-CRF、RNN-CRF、Attention机制l目前缺少成熟可以API,少数付费效果尚可训练的CRF模型,人名、时间、数字识别还行,有提升空间北京久其软件股份有限公司2024年3月11日语言模型、词向量语言模型、词向量lN-Grams:二元组、三元组、五元组l大量分词后语料进行统计l
12、正则化、平滑l可用于拼写和语法检查,也可协助分词lWord2Vec:将词组转换成多维向量表示lCBOW、Skip-Gram、GloVel神经网络输入需要Embedding,50,100,300维l特性相似近邻 通过向量距离查找关联词线性加减 w2v(中国)-w2v(北京)=w2v(法国)-w2v(巴黎)l只是一种高阶近似,同一含义在同一维表达,尽量分散2024年3月11日关键词、摘要提取关键词、摘要提取2024年3月11日文本分类、聚类、情感倾向文本分类、聚类、情感倾向l文本分类属于有监督学习,需要训练l贝叶斯、SVM、神经网络l文本聚类属于无监督学习l划分法(K-Means)、层次法、密度法
13、、网格法l文本倾向性分析,主要用于舆情监控,评价挖掘l贝叶斯理论为基础l褒义词、贬义词、中性词l否定谓词、副词的识别l与地域、主体识别结合运用l难点在于各门类数据抓取、行业模型训练北京久其软件股份有限公司2024年3月11日句法分析句法分析l上下文无关文法Context Free Grammarl依存文法分析(Dependency Parsing)通过分析语言单位内成分之间的依存关系揭示其句法结构识别“主谓宾”、“定状补”l算法:CYK、PCFG、CRF、神经网络(?)l目前中文句法分析短句可用,长句较差哈工大LTP语言云、Boson云(较好)Stanford Parser、HanLP(稍差)
14、北京久其软件股份有限公司2024年3月11日语义分析语义分析/理解理解l知识工程:语义树l可用于句子语义理解、数据抽取、句式转换l需要强大的知识库配合,知识图谱(?)今天晚上吃金属吧()法国一位老人以吃金属为生()l还难以理解文章,进行摘要或推理l神经网络:训练超级模型l词向量(稀疏)比较成熟,生成较快Synonymy、Antonymy、Hyponyml短句可用向量相加近似表示,长句、文章尚在研究北京久其软件股份有限公司2024年3月11日知识图谱知识图谱(Knowledge Graph)l由知识点相互连接而成的语义网络l用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们
15、之间的相互联系,并进行查询推理lRDF(资源描述框架)、OWL(Web 本体语言)、SparQLl建立:数据源整理、实体消歧、schema(本体、关系等)构建、查询与推理、优化存储、更新维护lWordNet、Yago、DbpedialCN-Dbpedia、Zhishi.Me、PKU-PIEl搜索引擎、金融分析、辅助诊断l目前似乎难以表达行为动作、限定修饰北京久其软件股份有限公司2024年3月11日QA-机器人问答、人机对话机器人问答、人机对话lIR-based Question Answering信息检索方式,抽取原文中短语、句子作答问题分析、答案类型确定、确定检索规则、句子抽取、答案生成lK
16、nowledge-based Question Answering确定提问类型及答案模板从原文抽取模板定义要素组织语言生成答案l个人助理、客服/导购、专家系统北京久其软件股份有限公司2024年3月11日DeepBot 对话框架对话框架北京久其软件股份有限公司2024年3月11日北京久其软件股份有限公司2024年3月11日演讲完毕,谢谢观看!附录资料:人工智能简介附录资料:人工智能简介About Teaching Plan基本要求:人工智能是计算机科学中涉及研究、设计和应用智能机器的一个分支,是目前迅速发展的一门新兴学科,新思想新方法层出不穷。其基本思想是利用机器来模仿和执行人脑的功能,如判断、
17、推理、证明、识别、感知、理解、设计、思考、规划、学习和问题求解等思维活动。对于培养学生计算机技术的应用能力,开阔思路和视野,有重要意义。About Teaching Plan因此,要求学生掌握知识表示知识表示和问题求解问题求解的几种常用方法,尤其是不确定性推理不确定性推理;掌握机器学习机器学习基本概念,了解几种机器学习方法机器学习方法尤其是神经网络学习方法;神经网络学习方法;掌握专家系统的概念,了解专家系统设计方法专家系统设计方法,掌握一些智能控制方法智能控制方法,了解国内外人工智能研究尤其是机器人的最新进展;最新进展;具有一定的人工智能编程设计能力人工智能编程设计能力(利用Lisp或Prol
18、og语言)。About Teaching Plan课程内容以及学时分配课程内容以及学时分配人工智能引论(1)人工智能概念及与计算机的关系,研究途径、内容和应用领域概况介绍,其他最新材料其他最新材料。符号主义、连接主义、行为主义三大流派人工智能数学基础(1)知识表示方法(2)状态空间法、问题归约法,谓词逻辑法、产生式表示法(动物识别系统);CLIPS语言;语义网络法、框架法(这是结构化表示);剧本、过程、Petri网、面向对象的表示。About Teaching Plan搜索技术和策略(3-4)状态空间法,盲目搜索和启发式搜索,A*算法;海伯伦理论、消解原理和策略;与或形推理和搜索策略;其他求解
19、技术。不确定推理技术(3-4)主观Bayes理论;可信度方法和证据理论;系统组织技术;非单调推理;Rete快速算法;模糊推理技术;基于语义网络和框架不确定推理;专家系统(2)专家系统概念、结构和知识获取;黑板模型、知识组织、管理及系统建造和开发工具;专家系统举例及编程。人工智能程序设计人工智能程序设计(1)人工智能语言基本机制:LISP和PROLOG。About Teaching Plan模式识别导论(3)模式识别专题:概率模式识别。模式识别专题:结构模式识别机器学习(1):机械,解释经验,事例,归纳,概念,类比学习等;统计,结构,模糊模式识别。专题讲座(3次)1)神经网络基本理论和应用(史奎
20、凡课程:安排于人工智能理论与应用课程内);2)智能体(Agent);3)自然语言处理;4)智能控制和机器人科学智能控制的结构理论和研究领域,智能控制系统及应用示例;机器人规划、机器视觉和自然语言理解等。About Teaching Plan实践:1)搜索技术和策略2)不确定推理技术3)专家系统:动物识别系统4)模式识别技术5)调研:搜索技术和策略、不确定推理技术、统计模式识别、机器学习等四个领域进展报告。Chapter One:Brief Introduction to Artificial Intelligence1.What is AI?人工智能(人工智能(Artificial Intel
21、ligence,AI)是当前科学技发展的一门前是当前科学技发展的一门前沿学科,同时也是一门新思想,新观念,新理论,新技术不断出沿学科,同时也是一门新思想,新观念,新理论,新技术不断出现的新兴学科以及正在发展的学科。现的新兴学科以及正在发展的学科。它是在它是在计算机科学,控制论,信息论,神经心理学,哲学,语言学计算机科学,控制论,信息论,神经心理学,哲学,语言学等多种学科研究的基础发展起来的,因此又可把它看作是一门等多种学科研究的基础发展起来的,因此又可把它看作是一门综综合性的边缘学科合性的边缘学科。它的出现及所取得的成就引起了人们的高度重视它的出现及所取得的成就引起了人们的高度重视,并取得了很
22、高的评并取得了很高的评价。有的人把它与空间技术,原子能技术一起并誉为价。有的人把它与空间技术,原子能技术一起并誉为20世纪的三世纪的三大科学技术成就。大科学技术成就。Intelligence智能是知识与智力的总合。智能是知识与智力的总合。知识知识智能行为的基础;智能行为的基础;智力智力获取知识并运用知识求解问题的能力。获取知识并运用知识求解问题的能力。智能具有以下特征:智能具有以下特征:(1)具有感知能力具有感知能力指人们通过视觉、听觉、触觉、味觉、嗅觉等感指人们通过视觉、听觉、触觉、味觉、嗅觉等感觉器官感知外部世界的能力;觉器官感知外部世界的能力;(2)具有记忆与思维的能力具有记忆与思维的能
23、力这是人脑最重要的功能,亦是人之所以有这是人脑最重要的功能,亦是人之所以有智能的根本原因;智能的根本原因;(3)具有学习能力及自适应能力;具有学习能力及自适应能力;(4)具有行为能力。具有行为能力。Artificial Intelligence人工智能人工智能计算机科学的一个分支,是智能计算机系统,即人类智慧计算机科学的一个分支,是智能计算机系统,即人类智慧在机器上的模拟,或者说是人们使机器具有类似于人的智慧(在机器上的模拟,或者说是人们使机器具有类似于人的智慧(对语言对语言能理解、能学习、能推理)。能理解、能学习、能推理)。2.Brief History of AI(1)孕育(孕育(1956
24、年前)年前)古希腊的古希腊的Aristotle(亚里士多德)(前亚里士多德)(前384-322),给出了形式逻辑的),给出了形式逻辑的基本规律。基本规律。英国的哲学家、自然科学家英国的哲学家、自然科学家Bacon(培根)(培根)(1561-1626),系统地给),系统地给 出了归纳法。出了归纳法。“知识就是力量知识就是力量”德国数学家、哲学家德国数学家、哲学家Leibnitz(布莱尼茨)(布莱尼茨)(1646-1716)。提出了关于)。提出了关于数理逻辑的思想,把形式逻辑符号化,从而能对人的思维进行运算和数理逻辑的思想,把形式逻辑符号化,从而能对人的思维进行运算和推理。做出了能做四则运算的手摇
25、计算机推理。做出了能做四则运算的手摇计算机英国数学家、逻辑学家英国数学家、逻辑学家Boole(布尔)(布尔)(1815-1864)实现了布莱尼茨)实现了布莱尼茨 的思维符号化和数学化的思想,提出了一种崭新的代数系统的思维符号化和数学化的思想,提出了一种崭新的代数系统布尔布尔代数。代数。美籍奥地利数理逻辑学家美籍奥地利数理逻辑学家Godel(哥德尔)(哥德尔)(1906-1978),证明),证明了一阶谓词的完备性定;任何包含初等数论的形式系统,如果它了一阶谓词的完备性定;任何包含初等数论的形式系统,如果它是无矛盾的,那么一定是不完备的。意义在于,人的思维形式化是无矛盾的,那么一定是不完备的。意义
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能 技术 概览
限制150内