職位描述
1、負責大數(shù)據(jù)平臺數(shù)據(jù)倉庫、ETL模塊建模及設(shè)計開發(fā)
2、負責需求搜集、數(shù)據(jù)分析并參與設(shè)計數(shù)據(jù)制作
3、負責調(diào)度及數(shù)據(jù)質(zhì)量的檢測和監(jiān)控,形成數(shù)據(jù)反饋優(yōu)化
任職要求:?
1、3-5年數(shù)據(jù)倉庫ETL設(shè)計及開發(fā)經(jīng)驗,精通數(shù)據(jù)倉庫邏輯架構(gòu)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控等數(shù)據(jù)倉庫主要環(huán)節(jié),有BI經(jīng)驗者優(yōu)先
2、精通SQL,?Hive?SQL,SparkSQL優(yōu)先;?熟悉Java或Python編程,有相關(guān)語言大數(shù)據(jù)開發(fā)經(jīng)驗者優(yōu)先
3、能夠熟練應(yīng)用一種或多種主流數(shù)據(jù)庫(如:Teradata、Greenplum、SQL?Server、Oracle、MySQL等)
4、至少掌握一種主流ETL以及調(diào)度工具,例如Oozie、Azkaban、AirFlow、Sqoop、Flume、Logstash等,有相關(guān)功能擴展開發(fā)者優(yōu)先
5、掌握主流大數(shù)據(jù)數(shù)據(jù)處理框架優(yōu)先,如Spark,?Flink,?Storm
6、有較強的性能優(yōu)化及問題排查、解決能力;對開源技術(shù)非常感興趣并具有一定的研究能力