崗位職責:
1、負責構建Spark/HDFS大數(shù)據(jù)處理架構,?基于Spark技術的海量數(shù)據(jù)的自動化分析處理和統(tǒng)計工作;?
2、基于Spark框架大數(shù)據(jù)架構的設計、開發(fā)和維護;?
3、根據(jù)相關需求使用Spark?Streaming、SQL進行數(shù)據(jù)處理、查詢和統(tǒng)計等工作;
4、負責基于Spark?MLLib進行機器自動學習的設計和編程,實現(xiàn)大數(shù)據(jù)的深度挖掘與精準營銷。?
崗位要求:
1、本科以上學歷,熟悉Spark相關技術,至少有一年的Spark開發(fā)經驗;
2、熟悉Spark?Streaming和Spark?SQL;
3、對大數(shù)據(jù)存儲結構進行設計和優(yōu)化,尤其是HBase的讀寫效率優(yōu)化;
4、精通HBase設計原理,對HBase的存儲有深刻理解,能夠針對使用場景對HBase進行調優(yōu)和故障排除;
5、有MLlib/mahout開發(fā)經驗者優(yōu)先;
6、熟悉Scala語言,對Scala原理、底層技術有深入研究者優(yōu)先。