1、依據(jù)設(shè)計文檔基于Hadoop平臺進行數(shù)據(jù)建模、數(shù)據(jù)分析相關(guān)的功能開發(fā)、測試支持工作?
2、負(fù)責(zé)Hadoop相關(guān)系統(tǒng)的數(shù)據(jù)模型與分析報表邏輯優(yōu)化調(diào)整、系統(tǒng)監(jiān)控與故障排查處理工作?
3、按照要求編寫數(shù)據(jù)建模、數(shù)據(jù)分析相關(guān)項目及運維支持文檔
4、負(fù)責(zé)完成領(lǐng)導(dǎo)協(xié)調(diào)安排的其它項目實施、運維工作
5、負(fù)責(zé)完成上級領(lǐng)導(dǎo)安排的臨時性工作
1.具備shell、python、java等一種腳本語言的開發(fā)能力?
2.熟悉Hadoop生態(tài),熟悉分布式平臺開發(fā),使用包括但不限于HDFS/HIve/Spark/HBase/Kafka/FlInk/CDH等數(shù)據(jù)分析平臺組件;?
3.?熟悉Impala,trino,presto、ELK等,了解基本原理?
4.?熟悉yarn原理以及集群資源優(yōu)化,熟悉Kerberos,Sentry?
5.?熟悉Orcle、Mysql、OLAP、OLTP等數(shù)據(jù)庫?
6.?具有Hadoop?CDH平臺開發(fā)運維經(jīng)驗者優(yōu)先?
7.?良好的溝通表達能力和團隊協(xié)作能力,對數(shù)據(jù)有敏感性?
8、有流處理和批處理實踐經(jīng)驗,熟悉Flink且有FlinkCDC實施經(jīng)驗?
9、有數(shù)據(jù)分析與建模開發(fā)經(jīng)驗和閱讀源碼能力者優(yōu)先。