崗位職責(zé):
?1.負(fù)責(zé)建設(shè)、維護(hù)、優(yōu)化基于Hadoop生態(tài)技術(shù)的大數(shù)據(jù)集群和計(jì)算框架;
?2.通過提供平臺(tái)化的計(jì)算框架,支撐海量數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)工作;
?3.負(fù)責(zé)海量數(shù)據(jù)的加工、處理,支撐數(shù)據(jù)采集、加工、建模、分析的全流程業(yè)務(wù);
?4.負(fù)責(zé)數(shù)據(jù)產(chǎn)品設(shè)計(jì)與開發(fā);
?5.關(guān)注開源技術(shù)動(dòng)態(tài),結(jié)合業(yè)務(wù)場(chǎng)景以及不斷規(guī)模增長(zhǎng)帶來的技術(shù)問題,構(gòu)造高度穩(wěn)定可用的大數(shù)據(jù)業(yè)務(wù)系統(tǒng);
?6.牽頭公司大數(shù)據(jù)應(yīng)用中臺(tái)產(chǎn)品的各類開發(fā)工作。
?任職條件:
?1.碩士研究生以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);
?2.有2-3年及以上hadoop生態(tài)相關(guān)研發(fā)和優(yōu)化經(jīng)驗(yàn),熟悉hadoop、Hive、Hbase或其他大數(shù)據(jù)組件;
?3.了解常用統(tǒng)計(jì)分析方法,掌握常用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法優(yōu)先;
?4.能夠獨(dú)立編寫perl、shell、python腳本,熟練使用Linux命令;
?5.熟悉Hadoop/Spark/Flink等流/批數(shù)據(jù)處理的開發(fā)經(jīng)驗(yàn);
?6.熟悉大數(shù)據(jù)相關(guān)組件,具備hive-sql,spark-sql使用經(jīng)驗(yàn),有從事分布式數(shù)據(jù)開發(fā)與大數(shù)據(jù)應(yīng)用開發(fā)經(jīng)驗(yàn)者優(yōu)先;具備Java?開發(fā)經(jīng)驗(yàn)者優(yōu)先;
?7.有10億美元互聯(lián)網(wǎng)公司技術(shù)類從業(yè)經(jīng)驗(yàn)優(yōu)先。