崗位職責(zé)：
1、參與數(shù)據(jù)層建設(shè)，專(zhuān)注于垂直領(lǐng)域數(shù)據(jù)爬取，進(jìn)行多平臺(tái)信息的抓取和分析；
2、參與爬蟲(chóng)系統(tǒng)的架構(gòu)設(shè)計(jì)與開(kāi)發(fā)；
3、實(shí)現(xiàn)數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫(kù)、統(tǒng)計(jì)分析等需求；
4、研究?jī)?yōu)化算法，提升爬蟲(chóng)系統(tǒng)的穩(wěn)定性、可擴(kuò)展性；
5、設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量；
6、能獨(dú)立解決實(shí)際開(kāi)發(fā)過(guò)程碰到的各類(lèi)問(wèn)題。
任職資格：
1、全日制本科以上學(xué)歷，計(jì)算機(jī)等專(zhuān)業(yè)，可***。
2、有3年以上計(jì)算機(jī)編程開(kāi)發(fā)經(jīng)驗(yàn)，熟悉常用數(shù)據(jù)結(jié)構(gòu)，有豐富的爬蟲(chóng)和反爬蟲(chóng)經(jīng)驗(yàn)者優(yōu)先；
?3、至少熟練掌握J(rèn)ava／Python其中一種語(yǔ)言，良好的編碼風(fēng)格及編碼能力；
4、熟悉高并發(fā)、高性能的分布式系統(tǒng)的設(shè)計(jì)及應(yīng)用，熟悉常用數(shù)據(jù)存儲(chǔ)，各種數(shù)據(jù)處理技術(shù)優(yōu)先；