数据开发工程师岗位职责.docx

《数据开发工程师岗位职责.docx》由会员分享，可在线阅读，更多相关《数据开发工程师岗位职责.docx（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数据开发工程师岗位职责数据开发工程师岗位职责1 职责： 1.负责公司大数据业务集群的运维工作确保高可用; 2.负责基础运维、故障定位、容量规划、扩容及性能优化; 3.设计实现大规模分布式集群的运维、报警监控和管理平台; 4.参与业务架构设计，在设计阶段给出可运维性改进建议; 5.深化争论大数据业务相关运维技术，持续优化集群服务架构，探究新的大数据运维技术及进展方向。 任职资格： 1.大专以上学历，2年及以上大数据运维工作阅历，生疏hadoop/hbase/hive/Yarn/Spark等分布式相关技术，生疏源码尤佳，至少把握python/shell中的一种语言，接受优秀应届毕业生; 2.了解大

2、数据平台应用架构，具备常见问题的基本分析和解决力气; 3.生疏Linux操作系统的配置、管理及优化，能够独立排查及解决操作系统层面的问题; 4.生疏nginx/emq/tomca、mysql/mongodb/redis等web应用/中间件及主流开源数据库的使用和配置。 数据开发工程师岗位职责2 职责： 1、负责所分管团队的团队建设和日常管理工作； 2、负责核心技术问题攻关和性能优化，持续维护和引进最新的大数据技术到城市大数据平台中，支撑城市级大数据平台业务； 3、担当城市数据标准编制和数据模型的设计； 4、担当项目中数据相关方案设计及数据团队管理； 5、参与城市大数据项目中数据采集、加工过程、

3、分析挖掘模型算法的实施工作。 任职资格： 1、1年以上数据开发工作阅历，娴熟使用SQL查询引擎； 2、生疏Hadoop、Mpp、Oracle等至少一种数据仓库工具 3、具备良好的编程语言基础如：java/python/scala/c+/shell等 4、二本以上学历，计算机相关专业或者有相关培训经受者优先 5、个人素养要求：目光长远、态度恳切、岗位有稳定性，能够长期培育、具备很强的自学力气、承压力气强、接受出差支援项目等工作。对数据工作具备深厚的爱好并有明确职业规划，优秀的学习力气和团队沟通协作力气，对新技术有深厚爱好并有钻研精神。 数据开发工程师岗位职责3 职责： 1、负责研发PAAS开放平

4、台开发，完成需求分析详细设计，spring boot基础组件的使用和扩开放发工作; 2、负责研发PAAS平台业务中台，数据中台的研发工作，能够精确把握业务需求，参与系统设计，负责核心代码的实现; 3、负责带领3-5人研发团队，实现系统规划需求。 【任职要求】 业务技能要求： 1、精通Java语言，深刻理解常用微服务组件，如Spring, Spring Boot, Spring Cloud, Mybatis; 2、生疏Shell或者Python脚本并能在Linux环境进行开发; 3、了解常用中间件系统，如RabbitMQ，RocketMq，Redis，ZooKeeper系统等; 4、生疏Mysq

5、l数据库以及常见的NoSQL DB，如MongoDB等; 5、了解常用工具如Git , Jenkins, Maven 等。 数据开发工程师岗位职责4 职位描述： 1、支撑dmp人群包计算的业务需求，参与服务端代码开发； 2、支撑dmp标签的技术升级，参与数据产出流程性能优化； 3、支持dmp大规模数据的计算和分析。 任职要求： 1、本科及以上学历，计算机、通信等相关专业，1-2年相关工作阅历； 2、有良好的.数据结构、算法基础和扎实的编程力气； 3、生疏python/java/c+/scala其中任意一门或者多门语言; 4、生疏hadoop/kafka/spark/storm/flink/hi

6、ve其中的若干技术； 5、具有良好的团队沟通意识和快速学习力气; 6、加分项: 生疏大数据处理或者dmp业务. 数据开发工程师岗位职责5 职位描述： 1、负责数据收集、清洗和规约等工作； 2、供应面对业务的数据服务，完成数据指标的统计、多维分析和呈现； 3、依据业务和产品状况，抽象业务规律，搭建和开发大数据平台。 任职要求： 1、统招本科或以上学历； 2、精通sql，有较好的sql性能调优阅历，了解hive/mysql的基本原理和调优策略 3、生疏常用的数据挖掘、分析的工具和方法，生疏linux平台，精通shell/python/php等脚本语言的一种或多种，编码基本功扎实 ； 4、精通jav

7、a开发，生疏大数据处理相关技术，有hadoop开发阅历，把握mapreduce。 数据开发工程师岗位职责6 职责: 1.负责机票酒店大数据项目的评估、设计及关键模块研发; 2.参与公司大数据平台及联机分析系统的建设; 3.机器学习算法争辩、评估及算法的.最终编码实现; 4.数据平台开发规范制定，数据建模及核心框架研发; 任职要求: 1.本科及以上学历，计算机或数学相关专业，三年以上相关工作阅历; 2.把握Java、Python、Scala等中的一到两种语言; 3.生疏Mongodb、Hive、Hbase、Redis等NoSQL数据库开发和调优; 4.生疏数据相关开源框架和工具，如ZooKeep

8、er、Spark、Flink、Impala、Kylin等; 5.对数据结构和机器学习算法有确定的了解; 6.具有海量数据处理、数据挖掘、数据分析相关项目的工作阅历者优先; 7.有机票酒店等旅游行业数据开发阅历者优先。 数据开发工程师岗位职责7 职责 1.数据库安装、配置、故障处理、备份与恢复; 2.数据库性能监控与优化、数据库平安加固、数据库空间管理等(包括线上、线下环境); 3.负责项目数据ETL整合与数据库设计; 4.审核数据库设计方案和SQL语句，对上线数据库质量进行管理; 5.负责数据库操作标准化流程制定，并遵照执行;(如数据库设计规范、数据库变更管理规范) 6.负责跟进、试用厦门数据

9、组产出的工具、数据整合方案，以及在重庆团队中推广使用; 7.提升实施团队数据库运维相关技能。 岗位要求 1、计算机或相关专业本科以上学历，2年以上数据处理工作阅历; 2、精通关系型数据库体系架构和原理，精通存储过程、触发器、动态SQL的编写; 3、精通数据库的性能优化及SQL语句的优化; 4、精通MySql/oracle数据库的规划、设计、优化及运维; 5、生疏Linux常用命令，生疏shell/python/perl(其中一种)脚本开发; 6、生疏数据库的负载解决方案，如分库、分表、主从; 7、高度的责任心、良好的沟通技巧和团队合作精神; 数据开发工程师岗位职责8 职位描述： 工作职责： 1

10、、基于海量数据，支持业务对数据的分析和使用； 2、支持业务处理数据的流式处理、分析客户行为等。 任职要求： 1、精通至少一门编程语言，娴熟运用各种常用算法和数据结构，有独立的.实现力气 ； 2、生疏常用的开源组件：hadoop/hive/spark/storm，并了解其特性和使用场景优先； 3、生疏机器学习、数据挖掘、数据分析、分布式计算至少某一方面，有较深的理论争论和实践阅历优先； 4、数据分析、推举、机器学习、数据挖掘相关的开发工作优先。 数据开发工程师岗位职责9 岗位职责： 1、负责结构化数据和文本的数据处理、建模、分析等工作，如：数据清洗、中文分词、情感分析、文本分类等； 2、负责数据

11、需求的收集、整理和分析，协作其他同事完成结构化数据和文本的需求分析； 3、负责分析结果的可视化呈现； 4、负责核心算法的设计与优化。 任职要求： 1、全日制本科毕业； 2、计算机或数学或软件类或统计相关专业； 3、生疏数据挖掘和文本挖掘的.理论基础，把握统计模型、机器学习相关原理； 4、生疏r/python/java等编程语言，生疏常用数据结构和算法，生疏正则表达式的使用。 数据开发工程师岗位职责10 岗位职责： 分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发； 参与项目的架构设计、评审、技术攻坚及优化； 参与系统文档的撰写、维护。 任职要求： 本科以上学历，计算机或相关专业；

12、 3年以上linux后台开发阅历，有大规模系统开发阅历； 精通http、tcp/ip协议，网络编程； 生疏linux操作系统原理，常用工具； 生疏常用大数据开源组件； 有高并发、大容量后台服务系统设计阅历； 具有良好的学习力气、沟通力气、团队合作意识； 猛烈的责任心与主动性，对所负责工作有owner意识，并能自我驱动成长； 对hadoop、flink、spark、lucene等开源项目有大规模应用阅历，contributor或者committer优先。 数据开发工程师岗位职责11 职位描述： 1、担当现有数据平台的开发和优化工作 2、依据业务需求进行数据模型的调研、设计、开发及验证工作，并持续

13、进行模型优化 3、负责数据模型架构的构建，建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型 4、负责实时计算平台搭建。 职位要求： 1、3-5年以上的相关工作阅历 2、生疏分布式计算平台 3、有日志采集，数据处理，数据仓库建模，etl等阅历 4、生疏java、python、spark开发 5、娴熟把握linux shell及sql语言 6、有独立负责数据某一模块的实际项目阅历 7、有过用户画像等方面开发阅历者优先 8、有实时处理开发阅历者优先 数据开发工程师岗位职责12 1. 建立和维护公司IT项目建设管理的规章制度; 2. 项目进度跟踪和把握，风险识别，里程碑监控、项目成

14、本管理; 3. 依据公司IT系统需求和系统设计要求，进行详细分析、设计，编写设计文档，进行功能模块的代码编写工作; 4. 关心进行公司IT系统架构设计，技术规划及技术可行性分析，对公司IT系统架构方案提出优化改进建议，提高系统架构质量; 5. 依据开发规范编写各种开发文档及项目文档; 6. 评估项目交付件，对系统质量负责。 7. 对于开发外包项目，作为开发接口人与供应商进行系统开发对接，对开发进度进行管理把握，修正开发偏差。 8. 上级领导支配的其他工作。 数据开发工程师岗位职责13 职责： 1、依据数据仓库及BI项目的需求，制定ETL相关的设计方案和开发方案，并进行后续的设计、实施、维护；

15、2、负责数据仓库数据模型的开发，发布，测试工作； 3、负责多种类型的数据报表的研发工作，包括钻取类报表，表格类报表，和图形化报表的研发，测试和发布工作； 4、担当数据抽取、清洗、转化等数据处理程序开发。 任职要求： 1、计算机相关专业本科及以上学历 2、精通数据仓库的数据模型设计，生疏ETL工具如DataStage，有3年以上的实际BI项目阅历； 3、精通Mysql/Oracle/SQLServer数据库，精通SQL语言，娴熟编写存储过程，把握海量数据处理及数据库性能优化； 4、生疏Hadoop大数据技术框架及相关技术； 数据开发工程师岗位职责14 职位描述： 1、基于海量数据，支持业务对数据

16、的分析和使用： 2、支持业务处理数据的流式处理、构建数据仓库、分析用户行为等。 任职要求： 1、有扎实的.编程力气，有优秀的设计和代码品位，对解决具有挑战性问题布满激情； 2、对大数据处理有丰富的阅历和宽敞的视野； 3、生疏常用的开源组件：hadoop/hive/spark/storm，并了解其特性和使用场景； 4、优秀的沟通理解力气，能快速理解业务，用数据解读业务； 5、推举或机器学习相关的开发工作优先。 数据开发工程师岗位职责15 1、分析需求，依据需求确定技术方案，设计系统架构，编写相关设计文档； 2、依据项目进度方案完成软件编码和集成测试； 3、指导学校级工程师的设计编码； 4、乐观响应客户需求并进行定制化开发和交付； 5、关心处理其他部门完成技术性事项；12