1.??參與爬蟲系統的架構設計與開發,搭建數據采集平臺，建立爬蟲系統，通過對數據的抓取、解析、調度、存儲等模塊的拆分與優化，構建和完善統一的抓取服務平臺；2.??設計爬蟲策略和防屏蔽規則，提升網頁抓取的效率和質量；3.??負責指定新聞網站、論壇、微博、微信等數據爬取，第三方數據對接，并按規定對接大數據處理平臺；4.?把握網絡爬蟲的核心技術研究方向，研究深網爬取技術及算法實現；任職資格：1.??本科及以上學歷，計算機相關專業畢業；2.??熟悉Java/C++/Python等其中至少一種語言，有較強的工程能力，熟悉常用算法和數據結構。3.??熟練掌握一門主流語言的爬蟲框架(Java?的?Nutch,?Python?的?Scrapy等)；4.??對搜索引擎爬蟲系統有深入研究和豐富的經驗，有海量數據處理的豐富經驗；?精通網頁抓取原理及技術，精通正則表達式，從結構化的和非結構化的數據中獲取信息；5.??有hadoop和spark實際開發經驗為佳。了解大數據組件的使用限制和應用場景；6.???工作踏實認真，思路清晰，有強烈的責任心、優秀的協調溝通能力和團隊合作精神。