1、負責Cassandra、Hadoop、HBase、spark等大數(shù)據(jù)平臺的規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等工作??2、對海量數(shù)據(jù)做采集、存儲、管理、查詢、分析、挖掘、建模等處理?3、參與完成項目和業(yè)務系統(tǒng)的設計、開發(fā)和測試等工作??4、協(xié)助并參與爬蟲策略和防屏蔽規(guī)則研究,提升網(wǎng)頁抓取的效率和質量
????5、??根據(jù)項目需求進行開發(fā)實現(xiàn),文檔撰寫,項目實施?
任職要求
1.?本科及以上學歷,計算機相關專業(yè),2年以上大數(shù)據(jù)相關經(jīng)驗2.?hadoop大數(shù)據(jù)集群系統(tǒng)運維或開發(fā)經(jīng)驗,熟悉Cassandra分布式數(shù)據(jù)庫,熟悉Hadoop/HBase/spark?S3等大數(shù)據(jù)系統(tǒng),有大數(shù)據(jù)平臺運維或開發(fā)經(jīng)驗者優(yōu)先。3.?熟悉Linux操作系統(tǒng),熟悉Java,熟練使用Shell/Perl/Python中至少一種語言,能熟練編寫常規(guī)運維腳本4.?具備較強的學習能力、邏輯分析能力、問題排查能力5.?具備良好的溝通表達能力,良好的團隊精神和合作精神6.?極強的責任心和耐壓能力,對項目質量有很高的要求。