大数据与人工智能-解惑.ppt

大数据与人工智能大数据与人工智能 -解惑解惑主讲：伍飞宇主讲：伍飞宇时间：时间：2017年年8月月27日日主主 题题人工智能产品人工智能产品02机器学习机器学习03人工智能历史及发展人工智能历史及发展01人工智能案例人工智能案例04面对人工智能面对人工智能05人工智能的历史人工智能的历史19561956年达特茅斯会议召开，人工智能正式提上议程年达特茅斯会议召开，人工智能正式提上议程智能时代什么时候来临？智能时代什么时候来临？当机器拥有语音识别、图像识别、自然语音理解等这些当机器拥有语音识别、图像识别、自然语音理解等这些人最本质的智慧能力的时候，那么大数据人工智能人最本质的智慧能力的时候，那么大数据人工智能时代已经来临。时代已经来临。人工智能历史及发展人工智能历史及发展人工智能应用人工智能应用1-1-围棋围棋人工智能应用人工智能应用2-2-聊天机器人聊天机器人人工智能应用人工智能应用3-3-图片识别图片识别little girl is eating piece of cake.人工智能应用人工智能应用4-4-人脸识别人脸识别人工智能应用人工智能应用5-5-图片文字提取图片文字提取人工智能应用人工智能应用6-6-自动驾驶汽车自动驾驶汽车Machine LearningMachine Learning(ML)is a scientific discipline that deals with the ML)is a scientific discipline that deals with the construction and study of algorithms that can learn from data.construction and study of algorithms that can learn from data.机器学习是一门从数据中研究算法的科学学科。机器学习是一门从数据中研究算法的科学学科。机器学习直白来讲，是根据已有的数据，进行算法选择，并基于算法和数据构建机器学习直白来讲，是根据已有的数据，进行算法选择，并基于算法和数据构建模型，最终对未来进行预测模型，最终对未来进行预测机器学习定义机器学习定义1 1：传统模型算法：传统模型算法2 2：深度学习算法：深度学习算法机器学习算法机器学习算法1 1：决策树算法：决策树算法 2 2：K-K-近邻算法近邻算法3 3：支持向量机：支持向量机(SVN)(SVN)4 4：关联分析：关联分析(Apriori)(Apriori)5 5：隐马尔科夫模型：隐马尔科夫模型(HMM)(HMM)6 6：AdaBoostAdaBoost算法算法7 7：朴素贝叶斯算法：朴素贝叶斯算法 .传统算法传统算法深度神经网络深度神经网络(DNN)(DNN)(Deep Neural Network)(Deep Neural Network)应用场景：搜索排序、推荐排序应用场景：搜索排序、推荐排序深度学习深度学习卷积神经网络卷积神经网络(CNN)(CNN)(Convolutional Neural Network)(Convolutional Neural Network)应用场景：图像识别、视频分析应用场景：图像识别、视频分析深度学习深度学习循环神经网络循环神经网络(RNN)(RNN)(Recurrent Neural Network)(Recurrent Neural Network)应用场景：语音识别、自然语言处理应用场景：语音识别、自然语言处理深度学习深度学习投资策略投资策略1 1：选择项目：选择项目2 2：选择时间：选择时间3 3：风险控制：风险控制4 4：买入项目：买入项目5 5：卖出项目：卖出项目智能智能P2PP2P投资系统投资系统预测流程预测流程新闻及政策预测投资走向新闻及政策预测投资走向数据收集数据处理文本向量化信息抽取中文分词特殊过滤情感分析中文分词中文分词分词操作分词操作词向量表示词向量表示1 1：One-HotOne-Hot稀疏编码稀疏编码橙子橙子 1 0 0 0 0 1 0 0 0 0 菠萝菠萝 0 1 0 0 0 0 1 0 0 0 2 2：EmbeddingEmbedding稠密编码稠密编码橙子橙子 0.3 0.20.3 0.2向量表示向量表示词编码训练词编码训练（Word2VecWord2Vec）1 1：基于上下文预测词基于上下文预测词2 2：基于词预测上下文基于词预测上下文可通过以下实现可通过以下实现1：python Gensim 工具包2 2：world2Vec googleworld2Vec google开源开源向量标记训练向量标记训练投入模型进行训练投入模型进行训练例如：卷积神经网络例如：卷积神经网络 CNNCNN基本原理：二维图像基本原理：二维图像-分解分解方格方格-卷积变换卷积变换-池化池化-取出最大值输出取出最大值输出(最终得出图像的类别最终得出图像的类别)模型训练模型训练图像与单词连接图像与单词连接思路：一维单词思路：一维单词-二维矩阵二维矩阵以单词向量作为输入以单词向量作为输入项目收益的波动作为输出项目收益的波动作为输出模型训练模型训练一：数据来源一：数据来源 1 1：网络爬虫：网络爬虫 2 2：开源工具：开源工具 3 3：大数据平台：大数据平台二：预测步骤二：预测步骤 1:1:数据清洗数据清洗 例如通过例如通过jiebajieba分词系统分词系统 分词、过滤等操作分词、过滤等操作 2 2：通过：通过 pythonpython中的中的 numpynumpy、pandaspandas、MatplotlibMatplotlib完成数据预处理及特征完成数据预处理及特征提取操作提取操作 3 3：通过：通过tensorflowtensorflow、tflearntflearn深度学习工具包进行深度学习建模。深度学习工具包进行深度学习建模。开发流程总结开发流程总结对比：对比：智能与非智能比较智能与非智能比较智能投资智能投资主观投资主观投资分析依据算法模型主观经验分析方法定量分析定性分析分析品种多样化少数品种投资周期短中期中长期风险控制风险最小化风险考虑不全人工智能应用开发流程人工智能应用开发流程数据收集数据清洗特征工程数据建模如果你是下面的行业如果你是下面的行业1 1：司机：司机2 2：医生：医生3 3：记者：记者4 4：翻译：翻译5 5：会计：会计6 6：律师：律师 你应该怎么办？你应该怎么办？面对人工智能面对人工智能Q&A