爬虫工程师

菲律槟榔侠

⚽爬虫工程师 ⚽

薪资待遇：面议

国籍要求：不限

任职要求：
1. 计算机科学、信息技术或相关领域的学士或硕士学位。
2. 在网络爬虫开发和数据采集方面有5年以上的工作经验。
3. 精通常用的编程语言和技术，如Python、Scrapy、Selenium等。
4. 具备人机对抗和反爬虫经验，熟悉常见的反爬虫机制和对抗方法。
5. 具备优秀的数据分析能力和问题解决能力。
6. 对网络安全和隐私保护有基本的了解和意识。
7. 良好的团队合作精神和沟通能力。

岗位职责：
1. 设计、开发和维护高性能的网络爬虫系统，用于数据采集和信息抓取。
2. 实施人机对抗技术，应对网站反爬虫机制，确保稳定的数据爬取。
3. 负责爬虫系统的架构设计和优化，确保可靠性、扩展性和安全性。
4. 进行数据清洗和预处理，以确保采集到的数据质量和一致性。
5. 与团队合作，制定和执行数据采集策略，并解决可能出现的问题。
6. 跟踪和了解最新的反爬虫技术和趋势，持续优化爬虫系统。
7. 编写技术文档和报告，记录爬虫系统的设计和实施细节。