异类框架BigDLTensorFlow的潜在杀器！.docx

《异类框架BigDLTensorFlow的潜在杀器！.docx》由会员分享，可在线阅读，更多相关《异类框架BigDLTensorFlow的潜在杀器！.docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、异类框架BigDL，TensorFlow的潜在杀器！11月30日，2021亚马逊云科技re:Invent全球大会，即将浩大开启！2021re:Invent十周年度十分活动，内容的饕餮盛宴，涵盖产品、行业、社区等专题！立即预约|NanditaDwivedi译者|风车云马责编|Jane出品|AI科技大本营idrgznai100【导读】你能利用现有的Spark集群构建深度学习模型吗怎样分析存储在HDFS、Hive以及HBase中tb级的数据吗企业想用深度学习模型可是要考虑的问题又很多怎么破这篇文章中我们将给大众说说大数据深度学习下BigDL框架的利弊与应用教程为什么有了TF、PyTorch还是会考虑

2、用BigDL为什么要讲BigDL这几年度曾被称为“3S因其简单、快速并支持深度学习的ApacheSpark非常流行。许多公司利用Hadoop以及Spark环境来构建强大的数据处理pipeline对分布式集群上的大量数据进展预处理并从中挖掘出业务提升的新观点。如今许多公司都祈望能利用深度学习的模型帮助自己进一步改善业务。固然深度学习模型的性能在不断进步但是想要在现有的平台上部署新技术也还有很多问题需要权衡比方1假如用深度学习的方法还可以利用原有的pipeline吗2当深度学习遇到大规模数据集时“大规模深度学习怎样能保证其有效性3基于现有的Spark/Hadoop集群是否可以用为什么要权衡这些问题

3、其实不难理解我们需要保持一致的环境防止大型数据集跨不同集群之间的传递。此外从现有的根底设施中挪动专有数据集也有平安风险与隐患。早期时解决这些问题的方法是在Spark上直接参加深度学习框架但并不能保证保持它们之间的一致性因此后来产生了基于Spark的BigDL平台其继承了3S的主要特点简单、快速、支持深度学学习。提到BigDL框架也许大众对他的熟悉度不高下面我们就先为大众简单的介绍一下什么是BigDL框架。BigDL是一个分布式的深度学习框架在大数据分析领域开展迅速并且也是一个开源的框架。BigDL有很多特点比方与Spark以及Hadoop生态系统进展了完好集成具有可拓展性等很多重要的功能。可根

4、据数据大小在任意集群中训练模型、支持构建端到端的大数据分析与深度学习等pipeline、可执行数据并行分布式训练实现高可扩展性。BigDL用户可在Spark以及大数据平台上构建了大量数据分析与深度学习的应用如视觉相似性、参数同步、比例缩放等。深度学习应用程序可以编写为标准的spark库。这些Spark框架中统一的库可以读取大量数据。此外它还支持Numpy、Scipy、NLTK、Pandas等Python库与TensorBoard集成用于可视化分析支持加载现有的Torch模型。企业客户使用BigDL以及Spark还有一个重要的原因相比TensorFlowBigDL不仅更快通过并行计算它可以更快地

5、重新训练模型。共享一位网友对BigDL的总结BigDL相对于其他主流的深度学习框架(TensorFlow/Caffe/PyTorch)算是一个异类。其异有二1CPU、2纯分布式(Spark)固然业界普遍不看好CPU跑深度学习但实际上还是有需求的。比方现有Hadoop集群的公司复用现有集群来跑深度学习是最经济的方案。并且充分优化后的CPU集群的性能还是挺可观的。拿BigDL来讲MKL多线程Spark充分发挥了分布式集群的优势。尤其是在Inference方面堆CPU的方案在性价比上很可能是优于GPU的毕竟Nivdia的计算卡是很昂贵的。另外数据挖掘和InformationRetrieval等领域中

6、常用的神经网络构造一般都比拟浅多为稀疏网络也很少用到卷积层。GPU并不特别擅长处理这样的网络构造。考虑到实际的消费环境跑在Spark上的BigDL背后有整个Spark/Hadoop大生态的支持。配合近期很火的SMACK技术栈可以很轻松愉快的构建端到端的消费级别的分布式机器学习流水线。由于没有异构集群数据传输的开销从端到端这个层面来看CPU方案的性能反而可能占优。最后谈谈可用性BigDL工程正在快速的迭代中。语言层面支持Scala/Python。API方面有torch.nn风格的SequenialAPI也有TensorFlow风格的GraphAPI和正在开发的kerasAPI。Layer库也很齐

7、全自定义Layer也很方便。兼容性方面BigDL兼容了Caffe/Torch/Keras和局部TensorFlow模型。换言之你可以把用TF/Caffe训练的模型导入BigDL做Inference。反之亦可。这是一个非常有用的Feature。综上BigDL固然并不主流但在很多场景下是有成为大杀器潜质的包括但不限于已有大规模分布式集群的(如:Hadoop集群)需要大规模Inference的比方推荐系统、搜索系统、广告系统 (上下游)依赖Spark/Hadoop生态的轻度深度学习使用者如数据研发工程师/数据挖掘工程师Scala/JVM爱好者AlfredXXfiTTss:/zhihu/questio

8、n/54604301/answer/338630738AnalyticsZoo分析库以及Python生态系统中庞大的标准或者三方库相比Spark明显还处于起步阶段。Keras、TensorFlow以及PyTorch等大多数库都还不能与Spark兼容因为它们不支持Spark分布式计算的底层核心框架。那要怎样弥补这一缺乏呢这里为大众介绍一个英特尔开发的分析工具AnalyticsZoo它提供了一组丰富的高级API可以将BigDL、Keras以及TensorFlow程序无缝集成到Spark的pipeline中还有几个内置的深度学习模型可用于对象检测、图像分类、文本分类等。该库还提供端到端的参考用例如异

9、常检测、欺诈检测以及图像增强以将机器学习应用于实际问题。为了帮助大众能更详细、实际的理解这个工具的一些功能与用法下面共享一个关于BigDL以及AnalyticsZoo的简短教程向大众展示怎样使用预先训练好的模型实现迁移学习并在Spark集群上进展训练。教程理论数据集ResNet-50包含蚂蚁以及蜜蜂图像的小数据集来实现迁移学习。预训练模型可以将给定的图像在1000个标签中进展分类模型训练与预测特定用例通过迁移学习重新训练模型对包含蚂蚁以及蜜蜂的训练集进展预测。BigDL以及AnalyticsZoo支持在Spark的分布式框架上进展训练。注意最初的ResNet-50标签中没有“蚂蚁以及“蜜蜂。使

10、用pip即可安装BigDL以及AnalyticsZoo如下所示#forPython3pip3installBigDLpip3installanalytics-zoo安装之后在开场之前先下载ResNet50的预训练模型、训练与测试数据集。数据包需要解压缩。使用AnalyticsZoo中的init_nncontext函数导入并初始化Spark然后定义预训练模型、训练与测试数据集的途径。importosfrombigdl.nn.criterionimport*frombigdl.nn.layerimport*frombigdl.optim.optimizerimportAdamfrompyspark

11、.mlimportPipelinefrompyspark.ml.evaluationimportMulticlassClassificationEvaluatorfrompyspark.sql.functionsimportcol,udffrompyspark.sql.typesimportDoubleType,StringTypefromzoomon.nncontextimport*fromzoo.feature.imageimport*fromzoo.pipeline.nnframesimport*scinit_nncontext(TransferLearningBlog)接下来创立Spa

12、rkUDF来提取文件名称。标签是通过检查文件名称是否包含关键字“ants或者“bees来分配的。使用这两个udf构造训练以及测试数据集。#DefineudfstoextractfilenameandgeneratelabelsinfloatsgetFileNameudf(lambdarow:os.path.basename(row0),StringType()getLabeludf(lambdarow:1.0ifantsinrow0else2.0,DoubleType()#ConstructtrainingdataframetrainingDFNNImageReader.readImages(

13、train_path,sc,resizeH300,resizeW300,image_codec1)trainingDFtrainingDF.withColumn(filename,getFileName(image).withColumn(label,getLabel(image)#ConstructvalidationdataframevalidationDFNNImageReader.readImages(val_path,sc,resizeH300,resizeW300,image_codec1)validationDFvalidationDF.withColumn(filename,g

14、etFileName(image).withColumn(label,getLabel(image)为了正确构建模型需要对所有图像进展标准化。AnalyticsZoo有API来操作转换、链接等使后面可以按顺序进展处理。如下所示加载预训练ResNet-50模型#Createachainedtransformerthatresizes,cropsandnormalizeseachimageinthedataframetransformerChainedPreprocessing(RowToImageFeature(),ImageResize(256,256),ImageCenterCrop(224

15、,224),ImageChannelNormalize(123.0,117.0,104.0),ImageMatToTensor(),ImageFeatureToTensor()#Loadpre-trainedResnet-50thatwasdownloadedearlierandgivethecolumntopickfeaturesfrompreTrainedNNModelNNModel(Model.loadModel(model_path),transformer).setFeaturesCol(image).setPredictionCol(embedding)#Printalllayer

16、sinResnet-50forlayerinpreTrainedNNModel.model.layers:print(layer.name()ResNet-50的最后5层是res5c_relupool5Viewf42780f5fc1000prob模型的最后一层的输出是2个类蚂蚁、蜜蜂而不是ResNet-50训练的1000个类。该模型的输入维数为1000输出维数为2。通过迁移学习该模型可以在25步内完成这两个新类的训练这一点也讲明了迁移学习的实用性。#Createalastlayerwithinputdimensionof1000thatoutputs2classesofantsandbees#

17、Epochsaresetto25andtheoptimizerisSGDlrModelSequential().add(Linear(1000,2).add(LogSoftMax()classifierNNClassifier(lrModel,ClassNLLCriterion(),SeqToTensor(1000).setOptimMethod(SGD(learningrate0.001,momentum0.9).setBatchSize(4).setMaxEpoch(25).setFeaturesCol(embedding).setCachingSample(False)#Changeth

18、elastlayerinthepipelinepipelinePipeline(stagespreTrainedNNModel,classifier)如今开场训练以及测试模型。Spark允许跨多个集群进展更快的训练。#TrainthemodelandgetpredictionsonthevalidationsetantbeeModelpipeline.fit(trainingDF)predictionDFantbeeModel.transform(validationDF).cache()predictionDF.sample(False,0.1).show()#Evaluatepredict

19、ionsevaluatorMulticlassClassificationEvaluator(labelCollabel,predictionColprediction,metricNameaccuracy)accuracyevaluator.evaluate(predictionDF)#expectederrorshouldbelessthan10%print(TheTestErroris%g%(1.0-accuracy)最后对测试数据进展分类显示图像。#TestdataframetestDFNNImageReader.readImages(test_path,sc,resizeH300,r

20、esizeW300,image_codec1)testDFtestDF.withColumn(filename,getFileName(image).withColumn(label,getLabel(image)testPredDFantbeeModel.transform(testDF).cache()rowtestPredDF.first().asDict()#showImagefunctiondefshowImage(row):#Openfileplt.imshow(Image.open(rowimage05:)#Mappredictiontoclasstitleantsifrowpr

21、ediction1.0elsebeesplt.title(title)showImage(row)测试数据分类结果的图像显示假如数据集比拟大恰好存储在HDFS中可以以使用一样的方法将其扩展到更大的集群上。正是BigDL让这些大数据集的数据分析更加快速以及高效。除此之外它还可与SparkSQL以及构造化数据严密耦合。例如Kafka数据可以直接传递给BigDLUDF进展实时预测以及分类。原文链接s:/medium/sfu-big-data/when-deep-learning-got-big-a833a69be460*本文为AI科技大本营编译文章转载请微信联络1092722531精彩推荐大会开幕倒计时6天2019以太坊技术及应用大会特邀以太坊创始人V神与诸多海内外知名技术专家齐聚北京聚焦区块链技术把握时代机遇深耕行业应用共话以太坊2.0新生态。即刻扫码享优惠票价。推荐浏览华为最强自研NPU问世麒麟810“抛弃寒武纪你点的每个“在看我都认真当成了喜欢