崗位職責
??1.負責爬蟲核心系統(tǒng)的架構(gòu)設(shè)計與實現(xiàn);
??2.研究爬蟲策略和防屏蔽規(guī)則,提升爬蟲系統(tǒng)的穩(wěn)定性、可擴展性;
??3.負責網(wǎng)站和APP的信息爬取和頁面內(nèi)容的提取分析;
??4.負責對指定app的接口和數(shù)據(jù)的分析、抓取及破解,對技術(shù)預(yù)研難點進行攻關(guān);
??5.負責大規(guī)模數(shù)據(jù)爬蟲的性能優(yōu)化工作;
??
??任職要求
??1.計算機相關(guān)專業(yè),5年以上爬蟲開發(fā)、內(nèi)容提取工作經(jīng)驗;
??2.熟悉python、Java開發(fā)語言,Linux命令;
??3.具備新聞資訊、社交媒體網(wǎng)站和APP采集能力,分布式采集優(yōu)先;
??4.能夠完成數(shù)據(jù)庫的CRUD,對語句優(yōu)化、存儲過程、函數(shù)、觸發(fā)器有了解;
??5.工作認真細致踏實,有較強的學習能力,熟悉常用爬蟲工具;
??6.精通爬蟲和反爬技術(shù),精通深度抓取、動態(tài)網(wǎng)頁技術(shù)抓取,掌握APP破解技術(shù)優(yōu)先;
?7.有Facebook數(shù)據(jù)采集技術(shù)經(jīng)驗。