1、負責多平臺信息爬取和頁面內(nèi)容的提取分析,負責破解各類反爬機制;
2、負責網(wǎng)頁的數(shù)據(jù)抓取和爬取鏈路優(yōu)化(包括逆向分析、脫殼、加密參數(shù)破解、抓取攻防等),提升抓取能力;
3、研究爬蟲策略和防屏蔽規(guī)則,解決封賬號、封IP、驗證碼、頁面跳轉(zhuǎn)等難點,提升網(wǎng)頁抓取的效率和質(zhì)量;
崗位要求:
1.3年以上python爬蟲經(jīng)驗,本科及以上學歷,計算機相關專業(yè),有電商類數(shù)據(jù)經(jīng)驗優(yōu)先;
2.熟悉掌握至少一種開源爬蟲框架(scrapy、appium、selenium等);
3.精通動態(tài)網(wǎng)頁抓取、瀏覽器模擬抓取、APP抓取等技術(shù),熟悉使用fiddler或其他抓包工具。;
4.具有js逆向,app逆向相關經(jīng)驗。熟悉js?hook原理,熟悉各種反爬風控常見手段;
5.具有團隊合作精神,有責任感,對工作認真負責,有較強的協(xié)調(diào)和溝通能力;
6.熟練掌握xposed?,?appium,?hook,脫殼,mitmproxy,反編譯,selenium,scrapy,爬蟲平臺