1.基于hadoop、spark等構(gòu)建數(shù)據(jù)分析平臺(tái),進(jìn)行設(shè)計(jì)、開(kāi)發(fā)分布式計(jì)算業(yè)務(wù);
2.輔助管理Hadoop集群運(yùn)行,穩(wěn)定提供平臺(tái)服務(wù);
3.基于Spark技術(shù)的海量數(shù)據(jù)的處理、分析、統(tǒng)計(jì)和挖掘;
4.基于Spark框架的數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)、開(kāi)發(fā)和維護(hù);
5.根據(jù)需求使用Spark?Streaming和Spark?SQL進(jìn)行數(shù)據(jù)處理、查詢和統(tǒng)計(jì)等工作。
崗位要求:
1.大專及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);
2.三年及以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn);
3.熟悉HDFS/HBase/Hive/MapReduce/spark,有豐富的分布式編程經(jīng)驗(yàn);
4.熟悉Spark?Streaming和Spark?SQL;
5.熟悉Core?Java,熟悉Java?IO,?NIO,?多線程編程,?熟悉JVM運(yùn)行機(jī)制和內(nèi)存管理,網(wǎng)絡(luò)協(xié)議;
6.熟練掌握Linux操作系統(tǒng),熟悉shell等腳本編程;
7.有在Spark相關(guān)項(xiàng)目中應(yīng)用Java或Python語(yǔ)言的經(jīng)驗(yàn)者優(yōu)先;
8.有過(guò)海量數(shù)據(jù)系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;
9.有良好的語(yǔ)言溝通能力,能夠協(xié)調(diào)團(tuán)隊(duì)成員及相關(guān)部門(mén)開(kāi)展分工及合作。