1.數(shù)據(jù)處理平臺(tái)優(yōu)化
1.1.文件導(dǎo)入優(yōu)化:非重要系統(tǒng)改Sqoop抽數(shù),減少數(shù)據(jù)落地。
1.2.文件導(dǎo)出優(yōu)化:集成袋鼠云,重點(diǎn)實(shí)現(xiàn)庫對(duì)庫配置化導(dǎo)出。
2.批量集群監(jiān)控
2.1.作業(yè)報(bào)警細(xì)化:抓取更多信息,在藍(lán)信通知的基礎(chǔ)上添加詳情郵件通知,并按系統(tǒng)分發(fā)給負(fù)責(zé)人。
2.2.作業(yè)日志采集細(xì)化:留存更多跑批信息,如資源使用、執(zhí)行計(jì)劃等,并與告警功能結(jié)合,用于后續(xù)SQL調(diào)優(yōu)。
3.實(shí)時(shí)集群優(yōu)化。
3.1.Kafka分布優(yōu)化:添加更多工作節(jié)點(diǎn),釋放管理節(jié)點(diǎn)資源。
3.2.新增組件HA配置:提升集群運(yùn)行穩(wěn)定性。
3.3.Solr性能優(yōu)化:監(jiān)控資源情況,保障Solr應(yīng)用穩(wěn)定。
任職要求:
1、本科及以上學(xué)歷,2年以上IT工作經(jīng)驗(yàn),3年以上大數(shù)據(jù)工作經(jīng)驗(yàn);
2、熟悉CDH大數(shù)據(jù)平臺(tái)運(yùn)維體系,熟悉平臺(tái)安裝部署和平臺(tái)優(yōu)化;
3、熟悉Hadoop生態(tài)技術(shù),熟悉HDFS、Yarn、Zookeeper、Hive、Impala、HBase、Spark、Kafka、Sqoop、Solr、ES等組件開發(fā)和調(diào)優(yōu);
4、熟悉Java、Scala、Shell、Python等開發(fā)語言之一,精通HQL;
5、具備良好的團(tuán)隊(duì)意識(shí)、溝通能力和學(xué)習(xí)能力。