工作職責:
1、負責實時數(shù)據(jù)處理系統(tǒng)的設計、開發(fā)和維護,實現(xiàn)ETL流程,確保數(shù)據(jù)的高質(zhì)量和一致性。
2、基于Flink實現(xiàn)復雜的數(shù)據(jù)流處理任務,并進行性能調(diào)優(yōu)。
3、與架構(gòu)師合作,支持業(yè)務數(shù)據(jù)需求,提供及時和準確的數(shù)據(jù)服務。
4、監(jiān)控和優(yōu)化數(shù)據(jù)處理流程,解決生產(chǎn)環(huán)境中的問題和故障。?
任職資格:?
1、對流式計算系統(tǒng)有深入的了解,在生產(chǎn)環(huán)境有TB級別Flink實時計算系統(tǒng)開發(fā)經(jīng)驗,深入掌握Flink?DataStream、Flink?SQL、Flink?Checkpoint、Flink?State等模塊,有Flink源碼閱讀經(jīng)驗者優(yōu)先。?
2、熟悉Java、Scala、Python、SQL等編程語言,具有優(yōu)秀的編碼和trouble-shooting能力。?
3、熟悉其他大數(shù)據(jù)系統(tǒng)經(jīng)驗者優(yōu)先,例如YARN、K8S、Spark、Spark?SQL、Kudu等。?
4、具備存儲系統(tǒng)經(jīng)驗者優(yōu)先,例如HBase、Cassandra、RocksDB等。?
5、樂于挑戰(zhàn)沒有明顯答案的問題,對新技術有強烈的學習熱情。