崗位職責
?1、參與海量數(shù)據(jù)的ETL開發(fā)，根據(jù)需求抽取各種數(shù)據(jù)；
?2、負責數(shù)據(jù)倉庫ETL流程的開發(fā)和優(yōu)化，并及時解決ETL相關技術問題；
?3、負責ETL數(shù)據(jù)準確性驗證及報表維護；
?4、參與項目基礎架構規(guī)劃、ETL流程設計和相關規(guī)范制定。
?崗位要求
?1、3年以上相關工作經(jīng)驗；
?2、熟悉Linux開發(fā)環(huán)境，具備Linux系統(tǒng)分析能力；
?3、熟悉常用的數(shù)據(jù)建模理論，了解數(shù)據(jù)倉庫層級的設計；
?4、熟練使用Java/Python/Scala等語言進行開發(fā)，熟悉shell/perl等腳本語言，具有較強的開發(fā)能力；
?5、熟悉Hadoop生態(tài)，精通hdfs、spark、HBase，Hive開發(fā)，熟悉MR、presto
?6、了解yarn,?Zookeeper、ELK等開源技術；
?7、對設計和開發(fā)在線計算和離線計算系統(tǒng)，有實戰(zhàn)經(jīng)驗；
?8、對數(shù)據(jù)敏感，優(yōu)秀的技術與業(yè)務結合能力；
?9、思路清晰，善于思考，責任心強；
?10、具備良好的工作態(tài)度及溝通表達能力，工作認真負責，具備較強的團隊協(xié)作意識和能力。
