崗位職責(zé):
????1.負責(zé)日常功能開發(fā),參與公司核心競爭力產(chǎn)品的研發(fā);2.負責(zé)基于Hadoop/Hive/Spark技術(shù)的海量數(shù)據(jù)的處理、分析、統(tǒng)計工作;3.基于Spark/Hadoop框架的數(shù)據(jù)倉庫的設(shè)計,開發(fā),維護;4.根據(jù)需求使用Spark?Streaming和Spark?SQL進行數(shù)據(jù)處理、查詢、統(tǒng)計等工作。?任職要求:1.本科及以上學(xué)歷,計算機相關(guān)專業(yè),五年以上工作經(jīng)驗,三年以上大數(shù)據(jù)編程經(jīng)驗,熟悉Hadoop/Hive/Spark生態(tài)系統(tǒng)組件的使用;2.熟悉Scala/Java語言;熟悉Spark調(diào)優(yōu),對Spark?On?YARN、Spark?StandAlone模式均有使用及優(yōu)化經(jīng)驗;3.有海量在線、離線數(shù)據(jù)分析系統(tǒng)設(shè)計和開發(fā)經(jīng)驗。4.熟悉Apache?Flume、Kafka、Spark?Streaming其一優(yōu)先;5.抗壓能力強、團隊意識強,具備獨立發(fā)現(xiàn)問題解決問題的能力。