崗位職責(zé):
1.負(fù)責(zé)基于分布式平臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)研發(fā),為全公司數(shù)據(jù)分析、挖掘及用戶畫(huà)像等提供精準(zhǔn)易用的高質(zhì)量基礎(chǔ)數(shù)據(jù);
2.整體負(fù)責(zé)日志采集、數(shù)據(jù)接收、ETL、數(shù)據(jù)倉(cāng)庫(kù)建模中的一個(gè)或多個(gè)環(huán)節(jié);
3.負(fù)責(zé)設(shè)計(jì)ETL開(kāi)發(fā)流程,底層模板代碼編寫(xiě),整體考慮ETL的性能、存儲(chǔ)、調(diào)度等問(wèn)題;
4.負(fù)責(zé)核心復(fù)雜業(yè)務(wù)代碼的設(shè)計(jì)和研發(fā)以及元數(shù)據(jù)管理工作;
5.負(fù)責(zé)新技術(shù)調(diào)研,技術(shù)攻關(guān),組內(nèi)工程師的技術(shù)指導(dǎo)等;
任職要求:
1.精通Java、Shell、Python等一種或多種開(kāi)發(fā)語(yǔ)言;
2.具有豐富的數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)和理論經(jīng)驗(yàn)(至少2年以上),了解數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分層結(jié)構(gòu),元數(shù)據(jù)管理,維度建模,數(shù)據(jù)質(zhì)量監(jiān)控等;
3.精通日志采集、數(shù)據(jù)接收、ETL、調(diào)度、數(shù)據(jù)倉(cāng)庫(kù)建模中的一種或多種;
4.熟練使用Hadoop、Hive、HBase等開(kāi)源技術(shù),有豐富的MR/UDF開(kāi)發(fā)和代碼設(shè)計(jì)經(jīng)驗(yàn);
5.具備海量數(shù)據(jù)處理、各開(kāi)源技術(shù)性能調(diào)優(yōu)經(jīng)驗(yàn)者優(yōu)先;
6.有互聯(lián)網(wǎng)\電商\金融行業(yè)數(shù)據(jù)經(jīng)驗(yàn)者優(yōu)先;