崗位職責(zé)：
1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的功能開(kāi)發(fā)。根據(jù)設(shè)計(jì)方案的要求進(jìn)行大數(shù)據(jù)平臺(tái)的架構(gòu)建設(shè)和功能開(kāi)發(fā)，包括分布式存儲(chǔ)系統(tǒng)、分布式計(jì)算系統(tǒng)、在線(xiàn)離線(xiàn)數(shù)據(jù)處理、數(shù)據(jù)ETL、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等，并輸出相應(yīng)的代碼和文檔。
2、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)與第三方系統(tǒng)的對(duì)接。根據(jù)項(xiàng)目要求對(duì)公司內(nèi)部系統(tǒng)或外部第三方系統(tǒng)進(jìn)行對(duì)接，對(duì)采集到的數(shù)據(jù)進(jìn)行處理、存儲(chǔ)等工作。
3、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)性能優(yōu)化。采用數(shù)據(jù)建模的方式對(duì)現(xiàn)有的算法進(jìn)行優(yōu)化，提升大數(shù)據(jù)平臺(tái)的性能。
4、負(fù)責(zé)移動(dòng)大數(shù)據(jù)平臺(tái)與產(chǎn)品和相關(guān)技術(shù)的研究；
崗位要求：
1、3年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)，熟悉?Hadoop?生態(tài)相關(guān)技術(shù)例；如?HDFS/MapReduce/Hive/HBase、熟悉Spark?Streaming和Spark?SQL?或者Flink；
2、熟練掌握Linux操作系統(tǒng)，熟悉shell等腳本編程；
3、熟悉Jave/Scala/Python中的一種或幾種語(yǔ)言；
4、熟悉分布式系統(tǒng)的設(shè)計(jì)和應(yīng)用，熟悉分布式、緩存、消息等機(jī)制，掌握多線(xiàn)程及高性能的設(shè)計(jì)與編碼及性能調(diào)優(yōu)，有高并發(fā)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)；
5、對(duì)數(shù)據(jù)敏感，有數(shù)據(jù)分析、數(shù)據(jù)挖掘經(jīng)驗(yàn)者優(yōu)先；
6、有大型數(shù)據(jù)倉(cāng)庫(kù)實(shí)施、大數(shù)據(jù)平臺(tái)數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；