崗位職責：1、主導分布式爬蟲和數(shù)據(jù)采集系統(tǒng)的架構設計和開發(fā)；2、參與分布式爬蟲模塊服務架構和數(shù)據(jù)存儲架構的設計和開發(fā)；3、解決規(guī)模增長或目標網(wǎng)站反爬蟲技術帶來的技術問題，確保提供高可靠數(shù)據(jù)服務,保證系統(tǒng)穩(wěn)定、高效運行；4、其他開發(fā)及運維工作。任職要求：1、本科及以上學歷，軟件工程專業(yè)優(yōu)先；2、具備2年以上爬蟲項目開發(fā)、部署及運維經(jīng)驗；3、熟練掌握Java語言；4、深入了解Http協(xié)議?和?web登錄認證機制；5、熟悉爬蟲相關技術，如Heritrix、Nutch、?httpClient、jSoup、xpath、正則表達式、驗證碼加密處理、代理池等；6、熟悉Hadoop(HDFS/MapReduce/Hive)、Hbase等分布式框架者；7、有豐富的應對反爬蟲的經(jīng)驗,例如合理使用?ip?池等技術；8、有運營商及支付寶網(wǎng)站爬取或逆向經(jīng)驗者優(yōu)先；9、對數(shù)據(jù)挖掘和機器學習算法方面有一定了解，有豐富的數(shù)據(jù)分析、挖掘、清洗和建模的經(jīng)驗。公司簡介：浙江捷富信息科技有限公司成立于2014年11月，注冊資金壹仟萬元人民幣,?是一家以實際消費場景為基礎，借助移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等高新技術，為滿足廣大消費者在具體消費場景中快速便捷信用支付需求服務的現(xiàn)代化互聯(lián)網(wǎng)科技金融企業(yè)。公司依托現(xiàn)有的通信合作資源和多年的移動通訊行業(yè)經(jīng)驗，目前以移動通訊消費市場為快速主攻的業(yè)務場景。下一階段將不斷豐富完善多渠道多消費場景，為顧客提供更貼心、更便捷、更實惠的消費支持。
