1、負(fù)責(zé)爬蟲系統(tǒng)的設(shè)計(jì)、開發(fā)和維護(hù);
??2、負(fù)責(zé)網(wǎng)頁信息和APP數(shù)據(jù)分析、提取、清洗、消重和入庫;
??3、負(fù)責(zé)爬蟲核心算法的策略優(yōu)化研究,充分利用資源,避免限制;
??4、優(yōu)化搜索、匹配、抓取等關(guān)鍵程序的性能及效率,并保證系統(tǒng)穩(wěn)定性;
任職要求:
?1、3年以上爬蟲開發(fā)經(jīng)驗(yàn),熟練應(yīng)用多線程技術(shù);
?2、熟練掌握regex、http、tcp,?dom、xpath等相關(guān)知識(shí),能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
?3、熟練使用http抓包工具?如charles?fiddler等
?4、熟悉常用反爬策略、能處理各種反爬問題;
?5、精通一種開源爬蟲框架,有開發(fā)爬蟲框架經(jīng)驗(yàn)優(yōu)先;
?6、具有App逆向分析、驗(yàn)證碼識(shí)別、模擬登錄等經(jīng)驗(yàn)者優(yōu)先;
?7、溝通和理解能力強(qiáng),思路敏捷、責(zé)任心強(qiáng),工作細(xì)心有條理,能承受較大的壓力;