工作職責:
1、負責公司的大數(shù)據(jù)處理平臺的設計及研發(fā)工作;參與項目技術平臺數(shù)據(jù)處理業(yè)務設計;
2、負責大數(shù)據(jù)平臺的架構設計,定義可擴展的、分布式的大數(shù)據(jù)實時計算架構;
3、負責核心模塊研發(fā),搭建能夠支撐公司未來大數(shù)據(jù)發(fā)展目標的大數(shù)據(jù)處理平臺;
4、負責整體提升hadoop/Hbase集群的高可用性、高性能、高擴展特性;
5、和數(shù)據(jù)智能分析團隊合作,完成各類數(shù)據(jù)的ETL處理、數(shù)據(jù)挖掘及機器學習任務。
任職資格:
1、3年以上大數(shù)據(jù)工作經(jīng)驗,有大型分布式系統(tǒng)架構設計的實際經(jīng)驗;
2、熟悉分布式系統(tǒng)或分布式數(shù)據(jù)庫系統(tǒng)的理論及工作機制;對大數(shù)據(jù)基礎架構、平臺、大數(shù)據(jù)體系有深刻理解和認識;
3、具有基于大數(shù)據(jù)技術平臺的架構設計與平臺調優(yōu)經(jīng)驗;熟練的系統(tǒng)架構,復雜系統(tǒng)軟件的設計能力和調試能力;有大規(guī)模數(shù)據(jù)平臺,高并發(fā)大型系統(tǒng),大數(shù)據(jù)等架構設計和開發(fā)經(jīng)驗;
4、熟悉?Hadoop(HDFS,YARN)、Hive、Hbase、Spark、Kafka、Storm、Redis、ZooKeeper、NOSQL?等技術,至少精通其中三項以上;
5、負責并成功實施過TB級大數(shù)據(jù)平臺建設項目,具備大數(shù)據(jù)平臺性能分析、debug、排障能力;
6、了解云計算平臺,具有在云環(huán)境部署實施工作經(jīng)驗者優(yōu)先;
7、熟悉?MySQL、Oracle?等主流關系數(shù)據(jù)庫,精通SQL語言,精通存儲過程;
8、精通?Java?技術,有良好的編程習慣,有基于Java體系大型應用開發(fā)者優(yōu)先。