企业级机器学习平台产品解析.ppt

《企业级机器学习平台产品解析.ppt》由会员分享，可在线阅读，更多相关《企业级机器学习平台产品解析.ppt（36页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、198919921997201620142011BillOthelloDeep BlueAlphaGo2007SPHINXIBMWatsonAppleSiri1994NuanceChinookCheckers1988FacebookDeepFaceMicrosoftTayLoebnerPrizeClaudicoTexas Holdem2015GoogleBrain201220002013DQNXboxKinectGoogleNowMicrosoftCortanaPalantirMetropolisWealthfrontBettermentGoogleAdWordsKenshoGoogleAut

2、o-EmailMS OfficeGrammar2012CMU BossBostonDynamicsGoogle CarPepperAmazon Kiva人工智能发展的主要里程碑AI=机器学习+大数据存储和计算能力的发展：Intel/Nvidia/SSD/Infiniband数据规模的变化：O2O/物联网/互联网+机器学习领域的发展：框架、人才、数据科学家大纲1.机器学习产品2.算法与算法框架3.可扩展平台架构4.面向部署集成5.案例与选型企业级机器学习产品架构解析机器学习产品要解决什么问题？业务专业务专家家：利用大数据和机器学习获得业务提升关心关心：模型效果、与业务结合、可解释系系统统管理人管

3、理人员员：维护大量数据流&线上模型服务关心关心：资源使用、一致性、可管理性数据科学家数据科学家：处理数据&模型调研关心关心：算法、灵活性、可扩展性、性能模型效果 VS 调研成本 大量数据导入导出&预处理 特征工程&调参领域知识 VS 技能要求 问题定义和优化目标需要业务经验 需要懂Python/Spark/Tensorflow投产要求 VS 运维难度 线上特征 实时预估服务机器学习平台的困难？VSVSVS提升算法效果聪明 VS 笨天真无邪 VS 博览群书一代宗师 VS 走火入魔确保模型效果 充分使用尽可能多的数据经验风险：模型对于训练数据分类结果的误差置信风险：模型对于未知数据分类结果的误差样

4、本不足的情况下，VC维越高，越容易过拟合样本充足的情况下，VC维越高，模型效果越好-如何获得足够的样本数据：使用更多的表和字段，3维特征-如何获得足够的计算能力：分布式机器学习VC维=机器学习的智商智商大规模机器学习框架GDBTC+14/兼具运行效率和开发效率机器学习过程抽象，隐藏分布式细节数据流与学习过程的紧密结合面向实际客户问题的算法包SplitRRSplitRRSplitRRmapmapmap(Sort)reduceOutputFormatfilefileRecordReadersInput(k,v)pairsIntermediate(k,v)pairsPartitionerWrite

5、back tolocal HDFSstoreMR/Spark ML 计算模型Node 1Files loaded from local HDFS storesInput FormatSplitRRSplitRRSplitRRmapmapmapPartitioner(Sort)reduceOutputFormatfilefileRecordReadersInput(k,v)pairsIntermediate(k,v)pairsWrite back tolocal HDFSstoreNode 2Files loaded from local HDFS storesInput Format“Shuf

6、fling”processIntermediate(k,v)pairsexchanged by allnodesDataflowMapShuffleReduceWorkerData SharedWorkerData SharedWorkerData SharedPartion 2ww=w-wwww=w-wwww=w-wwwwGDBT 计算模型ParameterServerPartion 1w inHQueuewwwwPartitioned by featurePartion 3MinibatchPush/Pull wLoad DataFrom DatasourceGDBT Not Only P

7、arameter Server存储|计算|通讯|灾备|开放接口|场景优化HDFSLocal FSS3zeromqCUDAMKLYarnMPIMesosGDBT DataSource/HeterCacheGDBT RpcServiceGDBTHeterComputationGDBT ChannelGDBTProcessesGDBT ExecEngineGDBT Group CommunicationGDBT ML ComponentsGDBT WrapperGDBT LR/FMGDBT TransferGDBT TreeNetGDBTAutoFeatureGDBT W&D NN GDBT Ens

8、embleGDBT PSGDBT集成面向客户适用的算法DNN modelLR fea-weightGBDT modelCOEC,continuousfeatures 机器学习问题并非0和1问题 需要尽可能利用离散&连续特征 面向客户场景（模型稳定性）Bagging+Deep Sparse Network（第四范式新一代深度学习模型，2015）GDBT架构收益开发新算法只需要一百到几百行代码（LR、FM）无须关心分布式细节，就可获得分布式算法支持LossFunction/算法数据流的定制降低成本与门槛 业务专家 数据科学家数据科学家 机器学机器学习习系系统统开开发发人才人才AI 价值与成本培养一

9、个合格的AI人才需要6-10年的时间-杨强 AAAI Fellow，第四范式首席科学家培养一个合格的AI人才可增加经济收益500-1000万万美元-Andrew Moore 卡耐基梅隆大学计算机学院院长在白宫AI发展听证会上的讲话 BI SQL Oracle DB/DB2降低技能门槛 AutoML/AssistML/TransferLearning 算法创新：较少的需要参数手动调整 自动特征工程：利用DSN，同时获得千人千面+可推理的效果 高级特征工程算子：序列事件特征、社交关系特征 特征和模型可解释性：辅助建模人员更有效率工作 Transfer Learning(IN PROGRESS)：如

10、何打破全局意义上的数据分割Prophet 对模型的全生命周期管理增量测试数据样本数据算法优化算法标签待评估数据特征测试数据优化特征迭代训练其他场景迁移数据源准准备备数据数据分析分析处处理理数据建模数据建模价价值应值应用用数据接入数据接入模型模型应应用用数据数据处处理理数据分析数据分析特征特征处处理理模型模型训练训练模型模型评评估估模型训练应用分析整理模型数据科学家/业务专家多功能多多功能多语语言言支持Python、R、SQL等多功能语言和用户习惯的使用方式团队协团队协作作为不同的团队角色的提供针针对对性的功能性的功能和与之对应的协协作方式作方式，同时提供不同角色的培培训训服服务务易使用易使用交

11、互式的图图形化界面形化界面能快速的完成业务问问题转题转化化和建模建模过程的定义高效率高效率提供多种系系统统化化实实验验，并提供自自动动的的优优化和化和调调参功能参功能高效能高效能自主知识产权的专专利利算法算法和计计算框架算框架提供高效的计算能力和精准的应用效果快速定制快速定制作为通用开发平台，开发者可快速依托平台的快速依托平台的组组件件库库和和架构架构完成专属的人工智能业务系统的定制和定制和对对接接高可高可扩扩展展提供多多语语言的言的SDK，帮助开发者在此基础上完成二次开二次开发发和扩扩展使用展使用高高处处理能力理能力大大规规模分布式的底模分布式的底层层架构架构，满足高高业务业务复复杂杂度度和

12、数据量数据量的存储和处理需求开发者/系统工程师Node ExecutorGDBT OperatorSpark OperatorHDFS FunctionYarn FunctionBigdata ClusterYarn ClusterHDFS StorageSpark StreamingDB InstancesCallReportABI RegisterTask PullProphet 系统架构Lamma&SDKDAGProphet API ServicesModelTranswarpPredMgrOnline ClusterPrediction ServiceCannon KVStoreDoc

13、ker ContainerOnlineNode Agent管理在线服务&离线任务Web界面&Python SDK任务调度：DAG集群功能代理机制集群动态注册、卸载机制图形机器学习操作界面-Lamma算子区算子区DAG操作区操作区参数配置区参数配置区计计划操作区划操作区图形机器学习操作界面-Lamma 使用场景以PC为主 ReactJS（核心框架）Lamma-Flux（数据流框架）Lamma-Parts（组件框架）图形机器学习操作界面-LammataskType:DataSplitAtom,enableGroup:false,nodeTemplates:name:DataSplitAtom,la

14、bel:数据拆分,tag:DataSplit,inputs:type:data,slots:type:data ,outputs:type:data,slots:type:data,type:data ,config:basic:method:content:0,widget:name:DropDown,isVisible:true,order:1,candidates:label:按比例拆分数据,value:0,isDefault:true,label:按规则拆分数据,value:1,label:先排序后拆分数据,value:2 ,label:拆分方式,isParent:true,界面组件模

15、板化开发Lamma-前后端打通 服务器端语法推断和验证Spark代理Web UIAPI GatewayFunc调度器节点注册同时验证函数注册Feature代理验证&执行Hadoop ClusterSDK 更快的调研或生产 Web的优点：直观、可视化 Web的缺点：操作复杂，不利于重复任务（例如For循环）SDKWeb共用Prophet API ServiceProphet BackendCluster ComputingDistributed Storage架构收益工程团队和算法团队的粘合剂：缩短新技术产品化流程模型调研过程更有效率，无人值守提供前后端打通功能：训练过程可视化、进度和错误可上线

16、面向部署集成大客户IT三件事安全、稳定、规范企业产品运维三件事标准、灵活、自动化大数据&机器学习给IT运维管理人员带来的麻烦资源抢占Troubleshooting麻烦大数据集群兼容性上线困难资源抢占与资源调度Problem：机器学习任务的灾备设计与ETL不同 局部独占是通常较优的调度策略 除了Yarn默认的vCPU/内存以外，网络带宽、IO也是重要考量因素TaskSchedulerTS NodeTS NodeTS NodeNetwork TrafficIO Usage by deviceIncomingTasksYarn ContainerYarn ContainerYarn Containe

17、rNode AgentCluster(Yarn)ComputingDango Yarn on Yarn 全功能调度 计算和存储分离可能 根据Ability调度任务 多集群灾备Node AgentCluster(Mesos+CUDA)ComputingStorageAbility ManagerAbility RegisterTask SchedulerStorage ManagerStorageRegisterTroubleShooting问题Problem：Hadoop默认UI不友好（域名、端口、操作方式）分布式任务的TroubleShooting需要经验 小错误导致的时间浪费（大型人物半途

18、终止）Solution：LogStreaming/WebViewer/LogDownloader 对日志的关键条目进行分析并展示到UI 执行计划预先推断Data Access Adapter大数据集群兼容性Problem：企业通常已有商业版本的Hadoop集群，开启安全机制（Kerberos）安全机制导致的数据服务器到应用服务器有限端口开放 多集群管理ResourceManagerApplicationInput/Output Data by NameKerberosKeytab&PrincipalInput/Output Data by StreamActual Node ProcessAp

19、pZoneFirewallDataZoneProphet Server1对多，仅HTTP端口Prophet Agent1对1，完整端口访问Hadoop Cluster机器学习应用的上线 线下DAG图到线上DAG图的自动转换 自动容器化部署与资源调度 分布式在线模型存储与计算 时间窗口特征计算与存储经验&选型参考哪些业务最适合开始机器学习实践？传统金融（有历史数据、有业务干预点）：推荐类：千人千面营销方案、产品组合推荐 定价类：因人而异的服务组合和定价策略 风险类：新户风险评分，贷后风险评分，欺诈识别新兴互联网企业：业务闭环可打通（购买行为、评价、反馈）有一定的数据规模，更重要的是数据累积速度 基础设施建设（日志、物料库、效果分析系统）搭建机器学习系统经验 学习目的 OR 生产目的？是否具备足够的样本规模？是否需要平台化管理？是否需要线上实时应用？高成本高收益高成本低收益低成本低收益