崗位職責:
1、負責集團級實時/離線/調(diào)度等數(shù)據(jù)計算平臺建設;
2、負責集團級公共基礎數(shù)據(jù)流、公共平臺的研發(fā);
3、參與海量數(shù)據(jù)處理和高性能分布式計算的架構設計,負責數(shù)據(jù)處理流程的設計和代碼開發(fā),撰寫相關文檔;
4、設計及研發(fā)PaaS平臺的關鍵組件;
5、負責研發(fā)資源調(diào)度框架、數(shù)據(jù)庫、緩存、存儲、檢索等相關中間件的二次開發(fā)優(yōu)化工作;
6、參與集群運維工作,支持Hadoop集群底座的運維故障分析、解決、性能優(yōu)化;
任職要求:
1.本科及以上學歷,通信/計算機等相關專業(yè)。
2、熟悉大數(shù)據(jù)相關組件二次開發(fā)、搭建、應用、優(yōu)化,如:Hadoop/Spark/Yarn/Hive/Kafka/Hbase/Kerberos/Flink/Mysql等。
3、扎實的計算機基礎,掌握常用的數(shù)據(jù)結構及算法,熟練掌握Java/Golang/Scala/Python中的一項或多項;
4、愿意承擔部分運維職責,熟悉Apache?Hadoop部署、性能調(diào)優(yōu)。
5、能閱讀/理解Hadoop等相關開源組件源碼。
6、較強的人際關系能力,有團隊精神、較強的執(zhí)行與推動能力,有一定抗壓力。