爬虫岗位职责17篇.docx

《爬虫岗位职责17篇.docx》由会员分享，可在线阅读，更多相关《爬虫岗位职责17篇.docx（18页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、爬虫岗位职责17篇【第1篇】网络爬虫岗位职责网络爬虫职责任职要求 网络爬虫岗位职责 工作内容:负责小程序搜索爬虫系统的建设，包括小程序爬虫策略的开发，分布式爬虫系统的建设，数据分析及处理等，为小程序搜索提供丰富优质的基础数据。 任职要求: 职位要求: 具备良好的计算机基础，熟悉http协议，具备良好的基础前端知识; 有过良好的高并发系统的后台开发经验; 具备一定的数据处理/分析经验，熟悉hadoop、mapreduce、spark等并行计算框架; 了解小程序的基础框架，有实际开发经验更优; 掌握 c/c+、python 等一门或多门语言，有nodejs开发经验更优; 如果您还具备以下技能，我们

2、会优先考虑: 具备网络爬虫系统的开发经验，有反爬虫实践经验; 具备机器学习框架的开发使用经验; 熟悉传统搜索引擎的seo规则。 【第2篇】java高级工程师（爬虫方向）职位描述与岗位职责任职要求 职位描述： 岗位职责 1.熟悉线程池、并发机制、锁机制、线程安全原理； 2.java体系知识：网络io、设计模式、linux、jvm、java类加载机制、java内存模型； 3.爬虫经验：webmagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpclient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬

3、； 4.熟悉http/http、tcp/ip、socket等通讯协议； 5.6年以上软件开发经验，至少2年爬虫开发经验。 任职要求 1. 采集、清洗、监控、配置化、调度、反爬、数据爬取、分词、检索等数据采集研发； 2. 较强的逻辑思维和发散思维； 3. 计算机或相关专业本科及以上学历。 【第3篇】资深爬虫工程师职位描述与岗位职责任职要求 职位描述： 职责描述： 1. 参与爬虫系统的架构设计与开发； 2. 负责执行和开发分布式网络爬虫系统，进行多平台信息的抓取和分析； 3. 负责网页信息和app数据抽取、清洗、消重等工作，提升平台的抓取效率； 4. 参与爬虫核心算法和策略优化，熟悉采集系统的调度

4、策略； 5. 实时监控爬虫的进度和警报反馈。 任职要求： 1. 本科以上学历，3年以上爬虫开发相关经验，熟练使用python或java进行开发； 2. 熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息； 3. 熟练使用mysql数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验； 4. 熟悉各种抓取技术，包括代理、phantomjs/selenium、验证码处理； 5. 熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验； 6. 具有数据挖掘、自然语言处理、信息检索

5、、机器学习背景者优先； 7. 快速学习能力，工作积极主动，有创业热情和良好的团队协助能力； 8. 需要有大量数据爬取以及高难度反爬经验，没有相关经验的勿扰。 【第4篇】网络爬虫工程师职位描述与岗位职责任职要求 职位描述： 职责描述： 1，负责网络爬虫系统的设计与开发 2，对爬取的网页信息进行数据抽取，清洗和去重等工作 任职要求： 1、2年及以上网络爬虫开发经验，本科及大专学历，计算机相关专业， 2、积极、沟通顺畅，工作认真负责 3、扎实的编程能力，熟悉常用算法和数据结构等基础知识 4、熟练掌握开发语言java或c/c+，熟悉脚本语言和正则表达式 【第5篇】数据爬虫工程师职位描述与岗位职责任职要

6、求 职位描述： 工作职责： 1.开发网页自动化脚本。 2.负责商品信息结构化，编写自动化脚本解析网页信息。 3.商品索引系统：亿级sku的库存价格实时跟踪同步，并对商品进行智能分类、本地化、图片处理和去重。 4.设计、开发、测试、部署以及维护并改进各子系统； 5.管理项目优先级并按时交付。 职位要求： 1.全日制统招本科、硕士毕业，1年以上软件开发工作经验； 2.熟悉至少一门通用静态编译编程语言，c/c+/java/c#/go； 3.熟悉web端基础标准，包括html、css、javascript、json等； 4.熟悉python或其他脚本语言，有兴趣和能力根据需求学习其他编程语言； 5.熟

7、悉unix/linux环境，memcache/redis/mongodb等存储系统，能独立设计开发包括前后端交互的业务子系统； 6.熟悉常见的设计模式、单元测试、持续开发集成、code review，并能在日常工作践行； 7.了解搜索引擎、电子商务、社交类应用的系统基本架构，能对已有的子系统进行优化调整的优先； 8.活跃的开源项目贡献者优先。 【第6篇】python爬虫工程师职位描述与岗位职责任职要求 职位描述： 工作职责： 1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作； 2、负责网页信息和app数据抽取、清洗、消重等工作，提升平台的抓取效率； 3、参与爬虫核心算法和策

8、略优化，熟悉采集系统的调度策略； 4、实时监控爬虫的进度和警报反馈。 任职要求： 1、有扎实的算法和数据结构能力； 2、熟悉爬虫原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先； 3、掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术； 4、有大规模数据处理、数据挖掘、信息提取等经验者优先。 【第7篇】爬虫工程师（p6-p8)职位描述与岗位职责任职要求 职位描述： 岗位职责： 1.负责网络爬虫的架构设计、开发与优化； 2.负责抓取数据的清洗、落地、分析； 3.抓取策略算法的更新维护，以及确保数据抽取准确、高效。 任职要求： 1.两年及以上互联网或软件行业工作经验；

9、2.理解 http 协议，熟悉 html、dom、xpath； 3.熟悉 linux 开发环境，至少熟悉 python/go/java/node.js 中的一种编程语言； 4.有爬虫、信息抽取、文本分类、大数据处理相关经验优先； 5.有自然语言处理、机器学习经验优先； 6.熟悉浏览器内核、渲染机制优先； 7.工作认真，细心，有条理，积极性高；良好的沟通能力及团队合作精神。 【第8篇】广告爬虫工程师职位描述与岗位职责任职要求 职位描述： 工作职责： 1、负责广告素材线索和垂直类产品爬虫系统的设计、开发 2、抓取数据的清洗、落地、分析 3、抓取策略算法的更新维护，以及确保数据抽取准确、高效 任职要

10、求： 1、具备强悍的编码能力、扎实的数据结构和算法功底 2、 熟悉tcp，http协议原理；熟悉ajax工作原理；精通python编程，熟悉一种开源爬虫框架和源码； 3、有爬虫、信息抽取、文本分类、大数据处理相关经验优先 4、有自然语言处理、机器学习经验优先 【第9篇】爬虫工程师岗位职责 高级爬虫开发工程师 职责描述: 1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作; 2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作; 任职要求: 1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验; 2、熟悉linux平台,熟练掌握python

11、或java爬虫开发工作; 3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术; 4、有反爬相关问题处理经验,精通常用的爬虫技术及架构设计,并能快速开发实现; 5、具备良好的编程习惯和算法基础; 6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。 职责描述: 1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作; 2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作; 任职要求: 1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验; 2、熟悉linux平台,熟练掌握python或java爬

12、虫开发工作; 3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术; 4、有反爬相关问题处理经验,精通常用的爬虫技术及架构设计,并能快速开发实现; 5、具备良好的编程习惯和算法基础; 6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。 【第10篇】python爬虫职位描述与岗位职责任职要求 职位描述： 工作职责： 负责竞品数据的抓取、分析 负责商业产品中的定价策略模块(seo排名) 负责带领相关同事构建爬虫规范，设计和开发分布式的网络爬虫应用，进行互联网相关信息的抓取和分析； 职位要求： 1. 计算机、信息技术或相关专业本科或以上学历； 2.

13、2年以上爬虫工作经验、3个以上实际项目经验 3. 精通python开发，理解并掌握 scrapy及scrapy-redis； 4. 对采集规则，对反爬、加解密、代理等关键技术有深度理解 5. 熟练使用redis、mq、mongodb、mysql等常用技术 6. 有良好的合作意识和自我驱动力，能主动承担模糊任务，抗压能力 加分项: 1.熟悉主流搜索引擎的搜索算法 2.独立负责项目 3.带过团队 【第11篇】爬虫工程师职位描述与岗位职责任职要求 职位描述： 职位诱惑： 全球项目、高薪资、高福利、国际团队 职位描述： if (your_passions.includes(coding) switch

14、(your_stacks) case node.js: case python: case kubernetes: case serverless: console.log(join aftership); break; 岗位职责 1、负责与不同物流公司的系统对接，使用各种 api 及爬虫技巧，抓取、分析、调度、存储数据，为公司业务提供正确稳定的数据； 2、负责系统的 sla 代码维护、秩代更新，保证任务质量和交付及时性； 3、负责编写相关的技术文档、单元测试，对产品质量负责。 岗位要求 1、统招本科及以上学历，具备英语读写能力； 2、熟悉 git/github，通信协议 tcp/http 及

15、 restful 标准； 3、一年及以上 python 爬虫开发工作经验， javascript 基础扎实，有 scrapy 等使用经验； 4、有 mysql，redis 或 mongodb 等相关数据库使用经验。 加分项 1、有 ci/cd 自动化测试经验； 2、有使用 docker、kubernetes、aws 或 gcp 云计算经验； 3、有写 blog 的习惯，活跃技术社区，参与开源项目等； 4、有代码洁癖，对代码精益求精，对技术有极客热情； 5、有软件著作权申请，有专利发明申请。 为什么加入我们 1、极客氛围: 拥抱开源技术，实践敏捷开发； 2、最新技术: kubernetes， s

16、erverless， tensorflow， microservice； 3、特色福利: 每天下午茶，学习成长基金， 提供 macbook pro； 4、多元文化: 团队来自全球十几个国家； 5、龙头企业: 海外知名企业； 6、朝阳行业: b2b 企业级系统， 国际性 saas 平台。 【第12篇】手机应用爬虫工程师职位描述与岗位职责任职要求 职位描述： * 负责设计和开发分布式网络爬虫系统 * 应用多种技术对各平台进行数据采集 * 设计数据采集策略，提升数据采集效率及质量 * 与各行业分析师沟通，分析项目的可行性和讨论抓取方案。 * 两年以上爬虫开发相关经验，本科及以上学历，计算机相关专业为

17、佳 * 熟练掌握c#或java开发语言为佳 * 了解tcp/ip，http及相关网络协议 * 熟悉js / html / xpath / json / 正则表达式等网页相关技术 * 熟悉分布式、多线程、缓存、消息队列等互联网技术 * 熟悉手机应用的数据抓取，手机app开发经验，加/脱壳经验为佳 * 良好的沟通技能，注重细节，抗压性强 * 良好的英语沟通技能为佳 【第13篇】高级爬虫工程师职位描述与岗位职责任职要求 职位描述： 岗位职责： 1、参与app爬虫项目的架构设计、研发工作，改进和提升爬虫效率； 2、攻破各种反爬策略； 3、解决各类技术疑难问题，包括网络问题、app分析、反编译等; 4、

18、与大数据工程师对接，完成实时数据与离线数据的爬取与对接； 任职资格： 1、计算机及相关专业本科及以上学历，两年以上相关工作经验； 2、精通至少一种开发语言，如python、java； 3、熟练掌握一种开源爬虫框架，如scrapy、webmagic，有研发爬虫框架经验者优先； 4、熟悉appium、selenium等技术； 5、善于独立分析并解决核心问题，如javascript反爬、爬虫策略、防屏蔽规则、app爬取、验证码识别技术等； 6、熟悉mysql，mongodb，redis，elasticsearch等数据库； 7、对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力； 8、

19、有app安全、逆向等领域经验的优先； 【第14篇】爬虫技术经理职位描述与岗位职责任职要求 职位描述： 职位描述： 1、负责核心爬虫系统架构设计、数据库设计； 2、负责网络爬虫的核心技术研究和开发，参与各种核心搜索策略、算法、数据聚类、重组的设计与开发； 3、设计策略和算法，提升网页抓取的效率和质量； 4、分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进； 岗位要求： 1、 全日制本科及以上学历，计算机相关专业； 2、精通java、c#、go、python其中一种，熟悉常用的信息抓取策略和数据重组算法； 3、精通信息抓取和整合技术，从结构化的和非结构化的数据中获取信息； 4、熟悉代理技术、

20、验证码技术； 5、熟悉mongodb、hbase、hive等nosql数据库，了解关系型数据库优先。 【第15篇】高级python工程师爬虫spider职位描述与岗位职责任职要求 职位描述： 工作内容： 1、 基础系统架构、模块、库和组件的研发； 2、 分布式海量数据存储和分析系统的研发和调优； 3、统计分析、报表、saas业务等系统研发； 4、crm、财务结算、工作流等内部管理系统的研发。 能力要求： 1、至少使用php/java/python等一门以上语言，开发过不算太小的项目； 2、熟悉数据结构、db、os、web开发等相关知识，对linux相关的各类技术情有独钟； 3、有大规模、高性能

21、互联网网站系统相关的设计和开发经验者优先； 4、具备良好的学习能力和成长潜力，渴望和团队一起快速成长。 【第16篇】资深爬虫工程师岗位职责及职位要求 资深爬虫工程师职位要求 1、计算机相关专业，本科及以上学历，3年以上爬虫相关工作经验； 2、对爬虫编程有强烈爱好，熟练精通掌握至少1种语言java、python，在需要的情况下能快速上手新语言切换； 3、深入理解tpc/ip、http、以及web登录认证的机制，有成功破解复杂验证码的经验； 4、有通用分布式爬虫系统架构和开发经验，能快速部署新的爬虫应用； 5、已有2年以上网络爬虫或搜索引擎工作经验，参与过大规模数据爬虫优先考虑； 6、有app安全

22、、逆向等领域的经验； 7、具有良好的沟通、团队协作、计划能力， 有过1-2人的团队管理经验。 资深爬虫工程师岗位职责 1、建设完善分布式爬虫系统； 2、建立通用的爬虫框架，能够快速适应新的爬虫需求； 3、快速完成对目标资源的数据抓取、处理。 【第17篇】网络爬虫岗位职责 高级爬虫开发工程师 职责描述: 1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作; 2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作; 任职要求: 1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验; 2、熟悉linux平台,熟练掌握python或java爬虫开发

23、工作; 3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术; 4、有反爬相关问题处理经验,精通常用的爬虫技术及架构设计,并能快速开发实现; 5、具备良好的编程习惯和算法基础; 6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。 职责描述: 1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作; 2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作; 任职要求: 1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验; 2、熟悉linux平台,熟练掌握python或java爬虫开发工作; 3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术; 4、有反爬相关问题处理经验,精通常用的爬虫技术及架构设计,并能快速开发实现; 5、具备良好的编程习惯和算法基础; 6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。18