主要職責:
負責大數(shù)據(jù)平臺的建設、運維,為數(shù)據(jù)應用開發(fā)人員提供支持;
1、負責大數(shù)據(jù)平臺日常維護工作,包括平臺監(jiān)控、應急響應、數(shù)據(jù)備份、定期擴容及集群性能優(yōu)化等;
2、深入理解業(yè)務邏輯,完成數(shù)據(jù)模型設計及優(yōu)化工作;
3、完成海量數(shù)據(jù)的獲取、清洗、分類、整合等數(shù)據(jù)處理工作并幫助公司梳理業(yè)務表邏輯;
4、負責集群容量規(guī)劃、擴容及性能調(diào)節(jié)優(yōu)化;
5、參與業(yè)務架構(gòu)設計,在設計階段給出可運維性及可擴展性方面的改進建議;
6、負責平臺部署、遷移、版本管理、測試驗收上線管理以及各類文檔的撰寫;
7、研究大數(shù)據(jù)業(yè)務相關運維技術,持續(xù)優(yōu)化集群服務架構(gòu),探索新的大數(shù)據(jù)運維技術及發(fā)展方向;
任職要求:
1、具備全日制本科或以上學歷,計算機及相關專業(yè),2年及以上相關開發(fā)經(jīng)驗,年齡30周歲以內(nèi)優(yōu)先考慮;
2、精通大數(shù)據(jù)技術生態(tài)圈相關的技術,包括但不限于Hadoop,?Hbase,?Hive、Impala,?Spark,?Yarn等;
3、有2年以上Hadoop相關運維開發(fā)經(jīng)驗,深入理解Hadoop各組件的原理,具備實際部署、維護經(jīng)驗;
4、熟悉主流數(shù)據(jù)庫,oracle/mysql/postgresql等;
5、具有實際大規(guī)模數(shù)據(jù)(TB級以上)處理經(jīng)驗;
6、深刻理解數(shù)據(jù)倉庫實施方法論、具備數(shù)據(jù)倉庫平臺架構(gòu)設計、項目實施經(jīng)驗者優(yōu)先;
7、2年以上軟件開發(fā)經(jīng)驗,扎實的Java編程基礎,?精通一門以上腳本語言(shell/perl/python等);
8、深入理解linux系統(tǒng),運維體系結(jié)構(gòu),精于容量規(guī)劃、架構(gòu)設計、性能優(yōu)化;
9、具備優(yōu)秀的故障排查能力,有很好的技術敏感度和風險識別能力;
10、良好的服務意識,善于團隊協(xié)作,主動思考,自我驅(qū)動力強;