崗位職責(zé)
1、負(fù)責(zé)基于Hadoop/Spark平臺(tái)架構(gòu)的設(shè)計(jì)、開(kāi)發(fā);
2、負(fù)責(zé)大數(shù)據(jù)存儲(chǔ)系統(tǒng)、分布式計(jì)算系統(tǒng)、挖掘算法等設(shè)計(jì)、研發(fā)以及維護(hù)、優(yōu)化工作;
3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的運(yùn)維工作,持續(xù)完善大數(shù)據(jù)平臺(tái),保證穩(wěn)定性、安全性。
4、負(fù)責(zé)多業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)、構(gòu)建和?ETL?工作;
5、為公司大數(shù)據(jù)分析相關(guān)項(xiàng)目提供技術(shù)解決方案;
6、協(xié)助研發(fā)團(tuán)隊(duì),規(guī)劃及建設(shè)大數(shù)據(jù)分析平臺(tái);
7、負(fù)責(zé)對(duì)公司相關(guān)人員進(jìn)行大數(shù)據(jù)相關(guān)知識(shí)培訓(xùn)。
任職資格和要求
1、計(jì)算機(jī)、統(tǒng)計(jì)學(xué)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,具有深厚的數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)相關(guān)知識(shí),精通數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的相關(guān)技術(shù),3年以上大數(shù)據(jù)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn);
2、具有非常扎實(shí)的Java基礎(chǔ),熟悉Shell、Python、R、Scala等一種以上語(yǔ)言;
3、熟悉大數(shù)據(jù)處理相關(guān)技術(shù),包括但不限于Hadoop、Hive、Hbase、Impala、Spark,Kafaka、Flume、Sqoop、Storm、Redis、Kylin等,并且有實(shí)踐經(jīng)驗(yàn),能解決應(yīng)用中的復(fù)雜問(wèn)題;
4、研讀過(guò)Hadoop、Hbase、Hive源代碼者,能夠在特定業(yè)務(wù)中進(jìn)行定制改造者優(yōu)先;
5、具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)項(xiàng)目的工作經(jīng)驗(yàn)者優(yōu)先;
6、熟悉BI和大數(shù)據(jù)領(lǐng)域的解決方案,具備該領(lǐng)域全面的技術(shù)積累,包括報(bào)表平臺(tái),OLAP引擎和DB,ETL,數(shù)據(jù)倉(cāng)庫(kù)建模和設(shè)計(jì),了解海量分布式數(shù)據(jù)處理分析架構(gòu);
7、喜歡分析數(shù)據(jù),對(duì)數(shù)字有敏感性,工作條理性強(qiáng),邏輯清晰;
8、良好的溝通協(xié)調(diào)能力,高度的工作責(zé)任心,能承受較大的工作壓力。