高級數據工程師
崗位職責:
1、負責/參與數據庫/數據倉庫的長期架構規(guī)劃;
2、負責/參與關系型數據庫、NOSQL、Hadoop環(huán)境的搭建、配置、管理、維護、優(yōu)化;
3、負責/參與大數據平臺架構技術架構設計、重構、優(yōu)化,根據業(yè)務規(guī)劃及技術規(guī)劃制定架構方案;
4、負責/參與大并發(fā)業(yè)務架構的設計、評審、優(yōu)化;
5、在線業(yè)務故障的排查;
6、開發(fā)人員的培訓、SQL指導、數據算法實現;
7、大規(guī)模數據挖掘和機器學習算法的實現和維護;
8、在線和離線海量數據分析平臺的開發(fā);
9、負責數據倉庫的建設和維護,包括需求調研分析、軟件規(guī)劃、概念模型、設計邏輯、物理模型、數據處理(抽取、清洗、轉化)、項目實施管控等
任職要求:
1、熟悉主流關系型數據庫ORACLE\MYSQL\SQLSERVER原理及高可用體系
2、熟悉NOSQL數據庫MONGODB\REDIS原理及高可用
3、熟悉數據建模、ETL設計與應用、報表開發(fā)等,熟練掌握2~3款ETL和報表開發(fā)工具;具有良好的編程習慣和文檔編寫習慣;?
4、對大數據基礎架構和平臺有深刻理解,對基于Hadoop的大數據體系有深入認識,具備相關產品(Hadoop、Hive、HBase、Pig、Sqoop、Spark等)項目應用研發(fā)經驗,有MapReduce開發(fā)的實戰(zhàn)經驗;
5、精通數據庫性能優(yōu)化
6、精通數據庫設計
7、精通SQL語句
8、熟悉linux系統
9、熟練掌握java、shell、python任意2種以上語言
10、2年以上數據庫、數據倉庫、大數據或BI系統實施經驗;