崗位職責(zé)：
1、負(fù)責(zé)分布式爬蟲(chóng)系統(tǒng)的核心技術(shù)研究、架構(gòu)設(shè)計(jì)、系統(tǒng)規(guī)劃
2、負(fù)責(zé)爬蟲(chóng)核心算法的策略優(yōu)化，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量
3、研究各種網(wǎng)頁(yè)、微信、app接口，實(shí)現(xiàn)多通道抓取
4、反爬策略的設(shè)計(jì)及優(yōu)化
5、負(fù)責(zé)業(yè)務(wù)需求分析、系統(tǒng)設(shè)計(jì)、開(kāi)發(fā)計(jì)劃的制定與跟進(jìn)
6、負(fù)責(zé)爬蟲(chóng)系統(tǒng)研發(fā)過(guò)程跟進(jìn)、代碼review、質(zhì)量控制；
7、負(fù)責(zé)研發(fā)團(tuán)隊(duì)的管理及溝通協(xié)調(diào)。
任職要求：
1、本科或以上學(xué)歷，2年以上python開(kāi)發(fā)經(jīng)驗(yàn)，2年以上爬蟲(chóng)管理經(jīng)驗(yàn)；
2、精通scrapy,?webmagic等開(kāi)源項(xiàng)目，了解java開(kāi)發(fā)；
3、具有分布式爬蟲(chóng)系統(tǒng)框架設(shè)計(jì)能力，以及爬蟲(chóng)項(xiàng)目規(guī)劃能力。
4、熟悉網(wǎng)絡(luò)編程、熟悉多線程機(jī)制、有過(guò)Socket?HTTP網(wǎng)絡(luò)編程項(xiàng)目經(jīng)驗(yàn)。
5、模擬瀏覽器操作爬蟲(chóng)，了解網(wǎng)頁(yè)抓取原理及技術(shù)，精通正則表達(dá)式，具備網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目經(jīng)驗(yàn)。
6、有分布式爬蟲(chóng)的開(kāi)發(fā)以及維護(hù)工作經(jīng)驗(yàn)，開(kāi)發(fā)更具實(shí)時(shí)性以及準(zhǔn)確性的高性能爬蟲(chóng)；
7、有互聯(lián)網(wǎng)金融行業(yè)經(jīng)驗(yàn)，具備快速學(xué)習(xí)新理念及技術(shù),有務(wù)實(shí)的工作態(tài)度與扎實(shí)的軟件開(kāi)發(fā)理論基礎(chǔ)。
8、處理過(guò)千萬(wàn)級(jí)數(shù)據(jù)的清洗工作
0755-27858055
4000-520-598