大数据开发工程师的主要职责精选.docx

《大数据开发工程师的主要职责精选.docx》由会员分享，可在线阅读，更多相关《大数据开发工程师的主要职责精选.docx（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、本文格式为Word版，下载可任意编辑大数据开发工程师的主要职责精选 大数据开发工程师负责该领域所属模块的代码开发、调试与维护工作，并进行技术沉淀和文档输出。下面是第一我整理的大数据开发工程师的主要职责精选。 大数据开发工程师的主要职责精选1 职责： 1、负责公司项目应用监测数据，分析软件大数据平台的代码开发; 2、负责大数据体系架构设计和应用产品的讨论; 3、负责大数据平台及应用场景的构建、部署、测试; 4、编写软件研发相关技术文档; 5、编写产品研发相关任务单方案，阶段性代码、技术方案和软件产品准时提交至配置管理理库; 6、Spark程序的研发，sqoop脚本开发和商家用户行为等离线分析数据

2、; 7、kudu，kylin等技术调研，编写软件研发相关技术文档; 8、SUNMI数仓设计架构以及ETL流程开发; 9、建立多维度，多体系的用户标签体系以及用户行为数据库。 岗位要求 ： 1、本科以上学历，4年以上?工作阅历，2年以上Hadoop平台的相关研发阅历，具有良好的需求分析，方案设计，架构设计，程序编写、测试力量; 2、熟识J2EE或Python平台开发，有良好的Java或Python语言功底; 3、了解Linux/Unix操作系统，了解脚本编程(Shell/Python其中一种); 4、具备数据中心资源管理(YARN)、监控(ClouderaManage)、调度(Azkaban)等

3、系统研发阅历者优先，具备分布式系统研发阅历者优先; 5、熟识hadoop以及其?生态圈系统上的hive、hbase、sqoop、spark、spark-streaming等技 术，懂hadoop源码者优先; 6、熟识Kylin有OLAP平台设计和开发阅历优先; 7、具有应用大数据技术处理TB级以上数据的项目开发阅历者优先; 8、有较清楚的代码编写规范，规律性强，工作态度仔细，良好沟通力量和团队合作精神。 大数据开发工程师的主要职责精选2 职责： 1、 负责基于Hadoop/Spark平台架构的开发、设计和布局 ; 2、 完成系统框架的设计和核心代码的编写; 3、 针对海量的用户行为数据进行统计

4、、分析与挖掘，不断提高系统运行效率; 4、 负责对数据进行分析，为项目组供应大数据技术指导及分析手段支撑; 5、 负责大数据平台的性能监控和持续优化;针对需求供应大数据分析技术解决方案 ; 6、 大数据平台的运维工作，持续完善大数据平台，保证稳定性、平安性; 7、 娴熟使用大数据ETL数据抽取工具; 8、领导支配的其他工作。 任职资格： 1、 3年互联网行业开发阅历，计算机或相关专业本科以上学历; 2、 精通Hadoop大数据平台架构，具有扎实的Java/Python等开发语言;并可以开发高效牢靠的代码; 3、 具有较强的数据分析、数据挖掘的力量; 4、 熟识spark、Hive、storm等

5、计算框架者优先，对分布式存储和计算原理有较深的理解; 5、 严密的数学思维、突出的分析和归纳力量、优秀的沟通表达能; 6、 共性开朗，对技术钻研好学、规律思维力量强，沟通力量优秀，有团队合作精神。 大数据开发工程师的主要职责精选3 职责: 1. 负责机票酒店大数据项目的评估、设计及关键模块研发; 2. 参加公司大数据平台及联机分析系统的建设; 3. 机器学习算法争论、评估及算法的最终编码实现; 4. 数据平台开发规范制定，数据建模及核心框架研发; 任职要求: 1. 本科及以上学历，计算机或数学相关专业，三年以上相关工作阅历; 2. 把握Java、Python、Scala等 中的一到两种语言;

6、3. 熟识Mongodb、Hive、Hbase、Redis等NoSQL数据库开发和调优; 4. 熟识数据相关开源框架和工具，如ZooKeeper、Spark、Flink、Impala、Kylin 等; 5. 对数据结构和机器学习算法有肯定的了解; 6. 具有海量数据处理、数据挖掘、数据分析相关项目的工作阅历者优先; 7. 有机票酒店等旅游行业数据开发阅历者优先。 大数据开发工程师的主要职责精选4 职责： 1.负责公司环保大数据平台的架构与搭建; 2.负责需求分析，依据客户应用需求规划大数据平台架构; 3.负责将大数据平台部署至私有服务器群、私有云或公有云; 4.负责在企业内部进行数据平台原型开

7、发与数据实时交互、存储性能测试; 5.负责与数据挖掘算法交互的架构设计与开发。 任职要求： 1.计算机相关专业，全日制本科以上学历; 2.具有3年以上大数据相关应用开发阅历，有Java开发阅历更佳; 3.至少熟识一种流行的大数据编程框架，如Spark，Storm，Flink等; 4.熟识大数据生态圈常用技术如RocketMQ，Kafka，Flume，Zookeeper等; 5.熟识Hadoop安装、调试、发布配置应用，熟识Linux操作系统更佳; 6.至少熟识TIDB，MySQL，SQLServer其中一种数据库; 7.学习力量强，对技术有热忱，关注技术进展方向; 8.具有工业物联网、才智型环

8、保项目背景者优先。 大数据开发工程师的主要职责精选5 职责： 1、负责公司大数据平台建设; 2、依据业务需求，制定数据仓库和数据分析平台的实施和持续更新; 3、攻克技术难关，保证大数据系统的稳定运行; 4、完成大数据产品的开发。 职位要求： 1、计算机相关专业全日制专科及以上学历，大数据相关阅历; 2、熟识Java或Scala语言，熟识Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大数据相关技术; 3、精通SQL语句并对Redis，Mongodb等NoSQL数据库有肯定阅历; 4、对于高并发、高稳定可用性、性能、大数据处理有过实际项目产品阅历者优先; 5、责任心强，工作踏实，有团队协作精神，沟通力量强者优先。第 5 页 共 5 页