崗位職責：
1、?從事Hadoop、Spark、Hbase、hive、kafka等分布式大數據平臺產品的設計和開發(fā)；
2、?針對部門大數據業(yè)務進行大數據分析、挖掘等產品應用的開發(fā)；
3、?大數據平臺各類數據業(yè)務抽象及模型化；
4、?參與大數據管理平臺的開發(fā)及維護；
5、?負責大數據平臺數據實時計算算法和流處理；
6、?負責大數據平臺數據及相關的應用開發(fā)，調優(yōu)及維護；
7、?為項目相關開發(fā)人員提供大數據技術指導及解決大數據平臺應用中遇到的技術難題;
8、?有Spark?Streaming、Structured?Streaming、Flink的實時計算經驗優(yōu)先.
任職要求：
1、3年以上大數據應用開發(fā)經驗，本科及以上學歷；
2、掌握Java、Scala、Python語言開發(fā)經驗優(yōu)先；
3、有以下大數據平臺子系統(tǒng)開發(fā)經驗優(yōu)先（元數據管理平臺、取數即席查詢平臺、OLAP平臺、實時計算）
4、熟悉Hadoop大數據生態(tài)圈技術，對分布式存儲Hdfs,Hive,Hbase等?資源調度Yarn,Kubernetes,Azkaban等，計算框架?Spark,Prosto,Hive,Impala等?有相關源碼研究優(yōu)先。
5、熟悉并掌握離線和實時數據處理流程，熟練使用Spark，F(xiàn)link處理TB級數據優(yōu)先。
6、熟悉阿里DataWorks，并能通過阿里EMR+OSS搭建數據湖泊優(yōu)先。
7、熟悉Linux環(huán)境，熟悉Mysql、Postgre、MongoDB等常用關系數據庫，熟練編寫SQL語句；
8、對大數據技術有強烈興趣，有志于往大數據處理方向發(fā)展；工作認真踏實，動手和學習新技術能力強。
