1、負責系統(tǒng)架構設計,基礎平臺搭建,平臺擴展功能的設計實施,支持主流的大數(shù)據(jù)分析模型及算法實現(xiàn);
2、負責優(yōu)化提升Flink/Spark/Hadoop/Hbase等集群的高可用性、高性能;
3、負責數(shù)據(jù)架構的規(guī)劃,關注大數(shù)據(jù)技術發(fā)展趨勢、研究開源技術、將新技術應用到大數(shù)據(jù)平臺,推動數(shù)據(jù)平臺發(fā)展。
?任職要求:
1、5年以上軟件/互聯(lián)網(wǎng)行業(yè)從業(yè)經(jīng)驗,具有豐富的系統(tǒng)分析與架構設計實踐經(jīng)驗,熟悉高性能、高并發(fā)、高可用性、高擴展性系統(tǒng)架構設計?;
2、熟悉Linux/Unix系統(tǒng)、熟練掌握Shell/Python/Java/Scala編程;
3、熟悉CDN、分布式系統(tǒng)框架原理?;
4、精通Hadoop框架體系,Kylin/Presto/Druid(OLAP)Spark/Storm/Flink(實時計算)、Kafka/HBase/Elasticsearch/Redis(其他大數(shù)據(jù)相關組件)的一項或多項有深入研究,至少擁有在大數(shù)據(jù)領域一個以上項目經(jīng)驗,熟悉大數(shù)據(jù)平臺的搭建及運維的經(jīng)驗;
5、具有大型數(shù)據(jù)倉庫架構設計、模型設計、ETL設計的相關經(jīng)驗;
6、對月度數(shù)據(jù)達百億級別以上數(shù)據(jù)量有實際接觸,對此類數(shù)據(jù)量做多維度分析的實踐能力;7、具備機器學習相關知識,熟悉tensorflow、caffe、mxnet等分布式機器學習組件的優(yōu)先。