崗位職責(zé)：1.?負責(zé)設(shè)計和開發(fā)網(wǎng)絡(luò)爬蟲系統(tǒng),進行交易平臺或社會媒體平臺信息的抓取和分析;2.?能獨立開發(fā)網(wǎng)站設(shè)計爬蟲策略和防屏蔽規(guī)則,提升網(wǎng)頁抓取效率和質(zhì)量;3.?能獨立解決實際開發(fā)過程碰到的各類問題任職要求：1.??？埔陨蠈W(xué)歷,2年以上爬蟲相關(guān)工作經(jīng)驗,具有獨立開發(fā)爬蟲類數(shù)據(jù)分析網(wǎng)站的能力2.?熟悉linux操作系統(tǒng)和熟練使用mysql數(shù)據(jù)庫,不熟悉者請繞行!3.?精通python3編程語言,熟練使用urlib、requests、re等模塊.4.?有1年以上的scrapy框架開發(fā)經(jīng)驗者優(yōu)先;5.?熟悉redis等nosql數(shù)據(jù)庫者優(yōu)先,構(gòu)建過分布式爬蟲系統(tǒng)者優(yōu)先