1.數據處理平臺優(yōu)化
1.1.文件導入優(yōu)化：非重要系統(tǒng)改Sqoop抽數，減少數據落地。
1.2.文件導出優(yōu)化：集成袋鼠云，重點實現庫對庫配置化導出。
2.批量集群監(jiān)控
2.1.作業(yè)報警細化：抓取更多信息，在藍信通知的基礎上添加詳情郵件通知，并按系統(tǒng)分發(fā)給負責人。
2.2.作業(yè)日志采集細化：留存更多跑批信息，如資源使用、執(zhí)行計劃等，并與告警功能結合，用于后續(xù)SQL調優(yōu)。
3.實時集群優(yōu)化。
3.1.Kafka分布優(yōu)化：添加更多工作節(jié)點，釋放管理節(jié)點資源。
3.2.新增組件HA配置：提升集群運行穩(wěn)定性。
3.3.Solr性能優(yōu)化：監(jiān)控資源情況，保障Solr應用穩(wěn)定。
任職要求：
1、本科及以上學歷，2年以上IT工作經驗，3年以上大數據工作經驗；
2、熟悉CDH大數據平臺運維體系，熟悉平臺安裝部署和平臺優(yōu)化；
3、熟悉Hadoop生態(tài)技術，熟悉HDFS、Yarn、Zookeeper、Hive、Impala、HBase、Spark、Kafka、Sqoop、Solr、ES等組件開發(fā)和調優(yōu)；
4、熟悉Java、Scala、Shell、Python等開發(fā)語言之一，精通HQL；
5、具備良好的團隊意識、溝通能力和學習能力。
