1、負責Cassandra、Hadoop、HBase、spark等大數據平臺的規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等工作??2、對海量數據做采集、存儲、管理、查詢、分析、挖掘、建模等處理?3、參與完成項目和業(yè)務系統(tǒng)的設計、開發(fā)和測試等工作??4、協(xié)助并參與爬蟲策略和防屏蔽規(guī)則研究,提升網頁抓取的效率和質量
????5、??根據項目需求進行開發(fā)實現,文檔撰寫,項目實施?
任職要求
1.?本科及以上學歷,計算機相關專業(yè),2年以上大數據相關經驗2.?hadoop大數據集群系統(tǒng)運維或開發(fā)經驗,熟悉Cassandra分布式數據庫,熟悉Hadoop/HBase/spark?S3等大數據系統(tǒng),有大數據平臺運維或開發(fā)經驗者優(yōu)先。3.?熟悉Linux操作系統(tǒng),熟悉Java,熟練使用Shell/Perl/Python中至少一種語言,能熟練編寫常規(guī)運維腳本4.?具備較強的學習能力、邏輯分析能力、問題排查能力5.?具備良好的溝通表達能力,良好的團隊精神和合作精神6.?極強的責任心和耐壓能力,對項目質量有很高的要求。