職責(zé)描述:?
?(1)負責(zé)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)采集、ETL開發(fā)、數(shù)據(jù)倉庫建設(shè),并能響應(yīng)數(shù)據(jù)分析師對數(shù)據(jù)提取的要求
?(2)負責(zé)大數(shù)據(jù)實時計算平臺及業(yè)務(wù)開發(fā),負責(zé)大數(shù)據(jù)平臺數(shù)據(jù)處理底層整體架構(gòu)設(shè)計,確保系統(tǒng)能支持業(yè)務(wù)不斷發(fā)展過程中對數(shù)據(jù)存儲及計算的要求
?(3)負責(zé)大數(shù)據(jù)平臺建設(shè)及維護、系統(tǒng)問題定位及優(yōu)化
??
?任職要求:
?(1)本科及以上學(xué)歷,軟件工程、計算機、通信、數(shù)學(xué)、工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)研究及相關(guān)專業(yè)。
?(2)熟悉分布式系統(tǒng)的架構(gòu),有分布式系統(tǒng)架構(gòu)設(shè)計的經(jīng)驗,有Hadoop系統(tǒng)架構(gòu)設(shè)計經(jīng)驗,至少1個以上大型成熟項目的經(jīng)驗;
?(3)熟練掌握MySQL、Oracle的數(shù)據(jù)庫技術(shù),精通Hive,并有相當(dāng)優(yōu)化經(jīng)驗,理解Hbase體系架構(gòu),并有相當(dāng)開發(fā)經(jīng)驗。
?(4)熟悉數(shù)據(jù)倉庫的ETL的開發(fā),有海量數(shù)據(jù)處理相關(guān)經(jīng)驗;
?(5)熟悉Hadoop、HBase、Hive、Spark、Storm等軟件,至少精讀過一個源碼。
?(6)熟練掌握Linux操作系統(tǒng),了解shell等腳本編程;
?(7)有數(shù)據(jù)挖掘及機器學(xué)習(xí)方面的經(jīng)驗優(yōu)先。
?(8)有熟悉工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)編程、商業(yè)數(shù)據(jù)分析、數(shù)據(jù)倉庫建設(shè)經(jīng)驗者優(yōu)先