負(fù)責(zé)大數(shù)據(jù)平臺(tái)的研制和維護(hù)性開發(fā),提供數(shù)據(jù)應(yīng)用項(xiàng)目技術(shù)支持,參與數(shù)據(jù)應(yīng)用類項(xiàng)目。
1、負(fù)責(zé)公司的大數(shù)據(jù)處理框架,產(chǎn)品的研發(fā)設(shè)計(jì)工作;根據(jù)項(xiàng)目要求編寫相關(guān)技術(shù)文檔;
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的架構(gòu)評審,代碼評審,上線評審;參與數(shù)據(jù)應(yīng)用需求、設(shè)計(jì)、審核和評審;
3、負(fù)責(zé)核心模塊研發(fā),負(fù)責(zé)大數(shù)據(jù)平臺(tái)的搭建,完成系統(tǒng)調(diào)試、集成與實(shí)施;
4、負(fù)責(zé)建立和維護(hù)大數(shù)據(jù)平臺(tái)技術(shù)標(biāo)準(zhǔn)規(guī)范,指導(dǎo)開發(fā)人員編寫代碼;
5、配合產(chǎn)品經(jīng)理與項(xiàng)目經(jīng)理規(guī)劃設(shè)計(jì)與實(shí)施大數(shù)據(jù)應(yīng)用。
1、本科及以上計(jì)算機(jī)、數(shù)學(xué)相關(guān)專業(yè)畢業(yè);具有3年以上相關(guān)工作經(jīng)驗(yàn);
2、熟悉離線數(shù)據(jù)處理流程,掌握離線數(shù)據(jù)處理框架hive、impala、spark-sql等一種或多種,了解實(shí)時(shí)數(shù)據(jù)處理常用技術(shù)工具,包括Storm、SparkStreaming等;
3、熟悉大數(shù)據(jù)技術(shù)生態(tài)圈,精通大數(shù)據(jù)技術(shù)架構(gòu),有大數(shù)據(jù)平臺(tái)構(gòu)建經(jīng)驗(yàn),有大規(guī)模數(shù)據(jù)(TB級以上)處理經(jīng)驗(yàn);
4、掌握常見數(shù)據(jù)流接入工具,包括Flume、kafka、sqoop等;
5、熟練掌握基本的Linux操作系統(tǒng)和某種腳本語言編程(如Shell等);
6、掌握一種或以上編程語言,如Java、Python等;
7、熟悉大數(shù)據(jù)相關(guān)數(shù)據(jù)庫,熟悉Hbase、hive,了解ElasticSearch、Codis等;
8、對分布式計(jì)算原理有較深的理解,熟悉MapReduce編程;
9、工程代碼能力強(qiáng),能讀懂開源代碼,有攻關(guān)能力;
10、熟悉數(shù)據(jù)倉庫理論,有相關(guān)設(shè)計(jì)經(jīng)驗(yàn)的優(yōu)先。