崗位職責(zé):
1、負(fù)責(zé)公司大數(shù)據(jù)平臺的部署、管理、容量規(guī)劃、性能優(yōu)化、監(jiān)控報警,持續(xù)對大數(shù)據(jù)平臺進(jìn)行優(yōu)化;
2、負(fù)責(zé)大數(shù)據(jù)平臺日常運(yùn)維管理、服務(wù)監(jiān)控、故障處理、集群性能和資源利用率優(yōu)化,為開發(fā)人員提供技術(shù)支持;
3、負(fù)責(zé)大數(shù)據(jù)平臺自動化運(yùn)維、監(jiān)控報警、故障處理相關(guān)腳本和工具開發(fā);
4、負(fù)責(zé)海量日志系統(tǒng)、分布式存儲的維護(hù)、優(yōu)化;
5、負(fù)責(zé)MySQL等主流數(shù)據(jù)庫架構(gòu)與高可用方案設(shè)計、優(yōu)化、維護(hù),制定數(shù)據(jù)庫監(jiān)控、備份、容災(zāi)策略;
崗位要求:
1、本科及以上學(xué)歷,計算機(jī)相關(guān)專業(yè),2年以上大數(shù)據(jù)運(yùn)維或相關(guān)工作經(jīng)驗;
2、深入理解linux系統(tǒng)及運(yùn)維體系結(jié)構(gòu),精于容量規(guī)劃、架構(gòu)設(shè)計、性能優(yōu)化,能夠獨(dú)立排查及解決操作系統(tǒng)層面的問題;
3、熟悉主流大數(shù)據(jù)計算引擎(Hadoop、Spark、Flink等),深刻理解內(nèi)部機(jī)制和原理;
4、對Hadoop生態(tài)技術(shù)體系有深入理解,包括但不限于HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Kudu/Kylin/Amabari//Elasticsearch等組件的工作原理、安裝調(diào)試、性能優(yōu)化;
5、熟悉大數(shù)據(jù)組件的容災(zāi)、擴(kuò)容、備份、優(yōu)化管理,具有較大規(guī)模集群的設(shè)計、部署和調(diào)優(yōu)經(jīng)驗;
6、熟悉Python/Shell等一種以上開發(fā)語言,了解常用算法和數(shù)據(jù)結(jié)構(gòu);
7、有運(yùn)維自動化、監(jiān)控系統(tǒng)、發(fā)布系統(tǒng)、大數(shù)據(jù)平臺等開發(fā)經(jīng)驗優(yōu)先考慮;
8、熟悉MySQL數(shù)據(jù)庫的管理、擴(kuò)容、備份、災(zāi)備、優(yōu)化、高可用及垂直、水平伸縮、擴(kuò)展方案為加分項;