崗位職責:1.?參與數(shù)據(jù)平臺整體架構設計,其中包括ETL架構,Mapping,開發(fā),審核等工作2.?負責數(shù)據(jù)平臺的書數(shù)據(jù)模型主題劃分,概念模型和邏輯模型的設計,以及數(shù)據(jù)模型中的分層結構設計3.?參與數(shù)據(jù)基礎架構規(guī)劃,其中包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、主數(shù)據(jù)管理、計算與存儲優(yōu)化、數(shù)據(jù)研發(fā)規(guī)范流程體系4.?數(shù)據(jù)平臺處理中遇到的批跑流程或性能等問題,進行跟蹤,排查和維護5.?對于數(shù)據(jù)平臺各個環(huán)節(jié)進行監(jiān)控,管理搭建數(shù)據(jù)平臺的元數(shù)據(jù)管理體系6、定期分享一些經(jīng)驗,而且指導和培養(yǎng)新員工的工作,以及審核工作內(nèi)容任職要求:1、熟練掌握主流的關系型數(shù)據(jù)庫如Oracle、mysql,PostgreSQL等,并且精通SQL語句編程2、熟練掌握toad,plsql?developer等開發(fā)工具和PowerDesigner/Erwin等建模工具3、精通Datastage、Informatic、Kettle等主流的ETL開發(fā)工具中的一種4、熟練掌握倉庫模型建模理論,掌握數(shù)據(jù)倉庫數(shù)據(jù)分層架構策略,理解業(yè)務并進行數(shù)據(jù)主題劃分,精通3NF和多維數(shù)據(jù)模型設計5、熟練使用編程語言,Shell/Python/Perl/Java等6、熟練掌握Hive/SQL,Hbase,Spark,Storm?等一種以上大數(shù)據(jù)處理工具和技術