崗位職責???
1.構建分布式和高度并行的大數(shù)據(jù)接收和處理管道，近實時處理大量數(shù)據(jù)（結構化和非結構化數(shù)據(jù)）；
2.評估和部署數(shù)據(jù)質(zhì)量框架，以衡量和改進組織中的數(shù)據(jù)質(zhì)量；
3.與數(shù)據(jù)管理員.生產(chǎn)商和消費者合作，設計適當?shù)臄?shù)據(jù)管道；
4.在可能的情況下實現(xiàn)流程自動化，并具有可重復性和可靠性；
5.與現(xiàn)場可靠性工程師和產(chǎn)品經(jīng)理密切合作，在持續(xù)交付環(huán)境中交付軟件。
資格：
1.在數(shù)據(jù)工程方面有豐富的經(jīng)驗（3年以上）并且能解決相關難題；
2.能使用scala或python編寫生產(chǎn)代碼，并對最新的數(shù)據(jù)技術有濃厚的興趣。
具備：
1.數(shù)據(jù)驅(qū)動思維；
2.集裝箱技術經(jīng)驗（Openshift.Docker或K8S）；
3.以交付為中心，具有強大的產(chǎn)品意識；
4.在AWS或GCP上設計和實施數(shù)據(jù)基礎設施的知識；
5.優(yōu)秀的溝通技能和跨職能團隊工作經(jīng)驗；
6.在Apache?Spark和Nifi方面的經(jīng)驗；
7.內(nèi)存數(shù)據(jù)處理經(jīng)驗；
8.在實施加密和匿名等數(shù)據(jù)安全功能方面的經(jīng)驗；
9.金融服務業(yè)的堅實基礎；
10.扎實的SQL知識；
11.了解統(tǒng)計模型、機器學習、圖形分析。
