職責描述:
?1、參與公司數據平臺架構設計,負責大數據平臺和數據倉庫相關建設;
??
2、依據公司的大數據技術發(fā)展路線,負責基于Hadoop生態(tài)系統(tǒng)和MPP數據庫的大規(guī)模數據平臺的研發(fā)及數據倉庫建設,提供可靠的數據存儲和訪問能力;
??
3、負責公司大數據平臺和數據倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調優(yōu),保證集群高效穩(wěn)定運行;
??
4、規(guī)劃與開發(fā)離線數據平臺系統(tǒng),處理海量數據,優(yōu)化存儲和計算架構的性能;
??
5、負責數據平臺技術難點攻關、技術選型評估,參與開發(fā)流程的討論與優(yōu)化;
??
6、參與公司數據治理策略等的制訂和實施;
??
7、負責協(xié)助產品經理進行數據倉庫相關的需求分析、建模、寬表設計等工作;
?8、負責系統(tǒng)核心代碼編寫、代碼審核和重構,指導和培訓數據工程師、不斷進行系統(tǒng)優(yōu)化;
??
?任職要求:
?1、本科以上學歷,7年以上大數據研發(fā)經驗,帶領過10人以上的大數據團隊;
??
2、有大型分布式系統(tǒng)設計經驗,負責過海量數據平臺上高可用、高性能分布式系統(tǒng)的架構設計;
??
3、熟悉大數據開發(fā)框架,熟悉hadoop,hbase,spark等及業(yè)界主流流處理平臺;
??
4、熟悉掌握分布式存儲和NoSQL數據庫技術(如MonogoDB、Redis等),有實際生產項目應用經驗;6、熟練掌握java,python,scalar中的至少一種編程語言,掌握常見的數據結構,算法,了解軟件工程、敏捷開發(fā)等知識,熟悉常用設計模式;?
??
5、理解SOA,微服務,中間件等PAAS相關的關鍵理念與技術,并對其有廣泛的實踐與應用經驗,樂于分享。
??
6、有信用風控等大數據設計和從業(yè)經驗者優(yōu)先。