大数据开发工程师的岗位职责.docx

《大数据开发工程师的岗位职责.docx》由会员分享，可在线阅读，更多相关《大数据开发工程师的岗位职责.docx（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、本文格式为Word版，下载可任意编辑大数据开发工程师的岗位职责 大数据开发工程师负责该领域的业务需求争论，完成技术方案及数据开发。下面是第一我整理的大数据开发工程师的岗位职责。 大数据开发工程师的岗位职责1 职责: 1、负责所分管团队的团队建设和日常管理工作; 2、负责核心技术问题攻关和性能优化，持续维护和引进最新的大数据技术到城市大数据平台中，支撑城市级大数据平台业务; 3、担当城市数据标准编制和数据模型的设计; 4、担当项目中数据相关方案设计及数据团队管理; 5、参加城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。 任职资格: 1、1年以上数据开发工作阅历，娴熟使用SQL查

2、询引擎; 2、熟识Hadoop、Mpp、Oracle等至少一种数据仓库工具 3、具备良好的编程语言基础如：java/python/scala/c+/shell等 4、二本以上学历，计算机相关专业或者有相关培训经受者优先 5、 个人素养要求：目光长远、态度恳切、岗位有稳定性，能够长期培育、具备很强的自学力量、承压力量强、接受出差支援项目等工作。对数据工作具备深厚的爱好并有明确职业规划，优秀的学习力量和团队沟通协作力量，对新技术有深厚爱好并有钻研精神。 大数据开发工程师的岗位职责2 职责： 1、依据客户需求完成大数据项目的数据分析及建模; 2、进行大数据核心算法的编写; 3、参加项目的需求分析、系

3、统设计、编码工作; 4、参加开发过程中相关新技术的讨论和验证。 5.帮助担当架构性的体系设计和改造工作，协作制定技术实施方案，根据总体设计组织子系统的设计和开发。 任职要求： 1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关阅历; 2、具有丰富的基于hadoop体系的数据平台、数据仓库建设阅历，精通基于hadoop源码的开发、优化改造及胜利应用案例; 3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维阅历; 4、具有对大型hadoop集群的硬件规划力量;

4、 大数据开发工程师的岗位职责3 职责 1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜寻引擎的产品研发; 2、基于海量用户行为数据和其他数据，分析和讨论数据与实际业务的关联关系，并与实际业务应用相结合开发; 3、负责大数据分析需求设计和开发，担当数据抽取、清洗、转化等数据处理程序开发。 任职要求： 1、熟识Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发阅历，有数据实时计算项目阅历优先; 2、有搜寻引擎全文检索开发阅历 ，如：elasticsearch、solr; 3、熟识python、R任意一门开

5、发语言; 4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发阅历优先考虑; 5、 本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作阅历; 6、拥有良好的代码习惯，要求结构清楚、命名规范、规律性强、代码冗余率低，代码解释清楚; 7、熟识使用svn，禅道等项目管理工具，有良好的团队协作开发阅历. 大数据开发工程师的岗位职责4 职责： 1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发; 2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发; 3、大数据平台各类数据业务抽象及模型化; 4、参加大数据

6、管理平台的开发及维护; 5、负责大数据平台数据及相关的应用开发，调优及维护; 6、为项目相关开发人员供应大数据技术指导及解决大数据平台应用中遇到的技术难题; 7、良好的团队合作与沟通力量。 任职要求： 1、本科及以上学历，2年以上大数据应用开发阅历; 2、具备Java、Python、Scala其中两种语言的开发阅历; 3、了解泛Hadoop大数据生态圈，熟识HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发阅历，有相关源码讨论者优先; 4、具备ETL开发与运维力量，有Flume、kettle阅历优先; 5、熟识大数据平台的搭建过程，熟识数据处

7、理流程，有TB级以上数据处理阅历优先，有实时数据处理阅历者优先; 6、熟识离线和实时数据处理流程，娴熟使用Spark，Flink处理TB级数据优先; 7、熟识Linux系统环境，有shell等脚本编写阅历，熟识Mysql、PostgreSql、Oracle等常用关系数据库，娴熟编写SQL语句; 8、熟识Yarn,Kubernetes,Azkaban等资源调度框架者优先; 9、熟识Datax的二次开发，并有实际开发阅历优先。 大数据开发工程师的岗位职责5 职责： 1、负责数据分析、加工、清理，相关处理脚本和程序的开发; 2、负责开发大数据工具，如报表平台、多维度分析工具、ETL平台、调度平台的研

8、发; 3、负责分布式大数据平台应用开发(Hadoop/Spark/Hive/HBase等); 4、负责大数据相关平台的维护、优化。 任职要求： 1、本科及以上学历，计算机相关专业，具有5年及以上的大数据ETL或数据开发阅历，熟识大数据组件的维护以及调优; 2、娴熟把握Java或Python编程语言，熟识大数据架构体系，熟识Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术中的一个或者多个，熟识Sqoop、DataX等数据导入工具; 3、能娴熟使用Hive、HBase、Spark等加工和处理数据，有海量数据处理阅历; 4、有数据仓库开发阅历/BI系统开发阅历优先; 5、有电商行业数据处理与分析平台开发阅历者优先。第 4 页 共 4 页