崗位職責(zé):
-負責(zé)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā)
-負責(zé)爬蟲核心算法的策略優(yōu)化研究,充分利用資源,提升網(wǎng)頁抓取的效率和質(zhì)量
-承擔(dān)爬蟲模塊的主要開發(fā)角色,能夠高效交付以及解決反爬問題。
任職要求:
-3年以上爬蟲開發(fā)相關(guān)經(jīng)驗,計算機相關(guān)專業(yè)本科以上學(xué)歷
-熟悉Python或Java語言
-熟悉多線程、網(wǎng)絡(luò)編程,精通網(wǎng)頁抓取原理及技術(shù),精通正則表達式,能從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息
-熟練使用MySQL數(shù)據(jù)庫,掌握Redis、MongoDB、Hive等常用NoSQL技術(shù)并具有實戰(zhàn)經(jīng)驗
-精通一種開源爬蟲框架,有開發(fā)爬蟲框架經(jīng)驗優(yōu)先
-善于溝通,有良好的文檔寫作能力,口頭溝通能力,良好的團隊合作精神,良好的抽象