大数据实验室深度学习平台建设方案.doc

《大数据实验室深度学习平台建设方案.doc》由会员分享，可在线阅读，更多相关《大数据实验室深度学习平台建设方案.doc（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据实验室深度学习平台建设方案 深度学习已经成为人工智能时代的入口，国内外行业巨头纷纷在语音识别、图像识别、自然语言处理等领域拓展深度学习版图，代表性的有谷歌的深度学习框架TensorFlow，Facebook的人工智能计算服务器Big Sur，越来越“聪明”的IBM人工智能Watson，微软的“深度残差学习”，科大讯飞的语音识别云等。简单地说，深度学习通过构建深层神经网络，模拟人类大脑的工作原理。如图所示，深层神经网络由一个输入层，数个隐层，以及一个输出层构成。每层有若干个神经元，每个神经元模拟人类的神经细胞，而结点之间的连接模拟神经细胞之间的连接。 可以将深度学习理解为大脑的“构建”，虽

2、然潜力无限，但是门槛不可谓不高。首先，深度学习网络模型复杂，计算量大。以DNN（深度神经网络）为例，它需要模拟人脑的计算能力，而人脑包含100多亿个神经细胞，这要求DNN中神经元多，神经元间连接数量也相当惊人，如此庞大的计算量需要高性能的硬件以及与之配套的软件系统提供支撑。 其次，DNN需要大量数据才能训练出高准确率的模型。为了达到理想的学习效果，DNN需要利用海量训练数据，进行反复多次实验，从而选择合理的选择优化方式，训练出高准确率的模型。因此，深度学习对训练数据提出了较高要求。再者，对于不少深度学习研究者而言，部署困难成为了一个大问题。很多时候，即使购入了高精尖的深度学习设备，但由于难以部

3、署，高价买回的设备只能搁置。因此，深度学习成为一个效果很好但门槛极高的方向。而xx大数据发布的DeepRack深度学习一体机，切实帮助解决深度学习应用中遇到的障碍与困境。1.1.1.1 平台简介 DeepRack深度学习一体机是南京xx大数据科技股份有限公司自主研发的深度学习软硬件平台，包含24U半高机柜，最多可配置4台4U高性能服务器；每台服务器CPU选用最新的英特尔E5-2600系列至强处理器；每台服务器最多可插入4块英伟达GPU卡；可选配GeForce Titan X、Tesla K40、Tesla K80等各档次英伟达GPU卡；部署有TensorFlow、Caffe等主流的深度学习开源

4、工具软件，并提供大量免费图片数据。根据操作手册用户可快速搭建属于自己的深度学习应用，从而提高了工作效率。DeepRack深度学习一体机具有超高性价比、超高计算性能、超高可靠性等特性，能够为用户提供性能卓越、稳定、便捷、安全的深度学习计算服务。1.1.1.2 准系统 DeepRack深度学习一体机内部采用专业GPU服务器设计，特别考虑了散热能力，力保7*24大数据模型训练不间断。每个节点提供两个2000瓦电源，保证了GPU满配情况下的主机供电需要。采用英特尔E5家族系列CPU及英特尔服务器组件，具有性价比高、处理性能优越、可靠性高等特性。深度学习一体机各规格使用的不同CPU性能参数如下表：CPU

5、参数E5-2620 V3E5-2650 V3E5-2697 V36核12线程10核20线程14核28线程2.40GHz2.30GHz2.60GHz1.1.1.3 GPU 深度学习是需要训练的，所谓的训练就是在成千上万个变量中寻找最佳值的计算。这需要通过不断的尝试实现收敛，而最终获得的数值并非是人工确定的数字，而是一种常态的公式。通过这种像素级的学习，不断总结规律，计算机就可以实现像像人一样思考。如今，几乎所有的深度学习研究者，包括BAT、谷歌，Facebook等等工业界的大佬，都在使用GPU进行相关的研究。而英伟达具备CUDA支持的GPU为用户学习Caffe、TensorFlow等研究工具提供

6、了很好的入门平台。其实GPU不仅仅是指专注于HPC领域的Tesla，包括Geforce在内的GPU都可以支持CUDA计算，这也为初学者提供了相对更低的应用门槛。得益于硬件支持与软件编程、设计方面的优势，英伟达GPU才成为了目前应用最广泛的平台。下表为英伟达各主流GPU的参数，客户可根据实际需求，选用不同的GPU来做自己的深度学习训练。英伟达GPU参数表GPU型号Titan XK40K80Peak single precision floating point performance7 Tflops4.29 Tflops8.73 Tflops CUDA cores307228804992Memo

7、ry size12 GB12 GB24 GB1.1.1.4 平台优势特性使用DeepRack深度学习一体机解决方案，用户可快速搭建属于自己的深度学习应用。 灵活的高性能硬件配置DeepRack深度学习一体机包含24U半高机柜，最多可配置4台4U高性能服务器；每台服务器CPU选用最新的英特尔E5-2600系列至强处理器；每台服务器最多可插入4块英伟达GPU卡；可选配GeForce Titan X、Tesla K20、K40、K80等各档次英伟达GPU卡，以满足不同深度学习应用的需求。DeepRack深度学习一体机为用户提供最大每秒128万亿次的单精度计算能力，满配时相当于160台服务器的计算能力

8、，使您的深度学习产品在计算效率上具有非凡竞争力；另外，充分考虑了7*24小时大规模运算的需要，一体机内部采用专业的散热、能耗设计。 集成最知名的深度学习软件系统 DeepRack深度学习一体机预装CentOS操作系统，集成了两套世界一流的开源工具软件Google的TensorFlow以及伯克利大学的Caffe，以帮助学习诸如图像识别、语音识别和语言翻译等任务。 提供基础训练数据 DeepRack深度学习一体机提供了MNIST、CIFAR-10、ImageNet等图像数据集，以满足实验与模型塑造过程中的训练数据需求。 即买即用，周到服务 DeepRack深度学习一体机预装CentOS操作系统，安

9、装配置了TensorFlow、Caffe等主流深度学习开源工具软件，并免费提供大量的可训练数据，用户根据操作手册，可快速搭建属于自己的深度学习应用。为了克服学习障碍，xx大数据向用户提供周到的免费培训，帮您带出一个能够应用深度学习的团队来.深度学习一体机包含24U半高机柜，最多可配置4台4U高性能计算节点；每台节点CPU选用最新的英特尔E5-2600系列至强处理器；每台节点最多可插入4块英伟达GPU卡；可选配GeForce Titan X、Tesla K40、Tesla K80等各档次英伟达GPU卡。深度学习一体机外观节点内部图 目前DeepRack深度学习一体机具有以下四种规格：极简型、经济型、标准型以及增强型。其中，极简型作为单机，拥有单一节点，其他三种规格则是包括4个节点的独立机柜。各型号的深度学习一体机具体配置如下表所示：各型号配置极简型经济型标准型增强型CPUDual E5-2620 V3Dual E5-2620 V3Dual E5-2650 V3Dual E5-2697 V3GPUTitan X *2Titan X *1K40 *2K80 *4硬盘240G SSD+4T企业盘240GSSD+4T企业盘480G SSD+4T企业盘800G SSD+4T*7企业盘内存64G64G128G256G节点数1444交换机0111机柜0111