崗位職責:
1.負責數(shù)據(jù)ETL的開發(fā),維護數(shù)據(jù)的完整生命周期;
2.負責數(shù)據(jù)倉庫(實時/離線數(shù)據(jù)倉庫)的建模,開發(fā),維護等;
2.?公司報表(BI)系統(tǒng)的設計,開發(fā),維護;
3?開發(fā)大數(shù)據(jù)平臺自動化運維、監(jiān)控報警、故障處理相關工具和組件;
4.?維護線上系統(tǒng)的穩(wěn)定性、可靠性,能夠快速定位問題,提出優(yōu)化方案并實施;
5.?新數(shù)據(jù)業(yè)務(實時業(yè)務/數(shù)據(jù)服務等)的落地能力,能夠快速的分析需求并轉化為實際工作內容;
任職要求:
1.至少3年的工作經(jīng)驗;
2.熟悉java語言或者python語言,熟悉JVM原理及常見的數(shù)據(jù)結構和算法;
3.熟悉hadoop、hive、hbase、kafka、kylin等大數(shù)據(jù)周邊組件,了解原理,并能優(yōu)化;
4.了解Elasticsearch技術、原理并能對其優(yōu)化,使用過ES的API特性;
5.熟悉數(shù)據(jù)的ETL開發(fā),包括數(shù)據(jù)的離線和實時處理,開發(fā)過MR、Spark/Flink/Storm等相關任務作業(yè);
6.熟悉sql語句及調優(yōu),了解至少一門腳本語言,python或者shell,能夠編寫腳本任務;
7.熟悉數(shù)據(jù)倉庫建設或者數(shù)據(jù)平臺開發(fā)建設,有過數(shù)據(jù)中臺建設經(jīng)驗的優(yōu)先考慮;
8.對數(shù)據(jù)敏感,有較強的責任心和獨立解決問題的能力;