崗位職責(zé)：
1.基于hadoop生態(tài)的大數(shù)據(jù)存儲(chǔ)平臺(tái)搭建和部署；
2.承擔(dān)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開(kāi)發(fā)；
3.完成日常數(shù)據(jù)分析查詢(xún)需求；
4.數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)，開(kāi)發(fā)，維護(hù)；
5.數(shù)據(jù)挖掘。
任職資格：
1.熟悉離線(xiàn)及實(shí)時(shí)大數(shù)據(jù)平臺(tái)架構(gòu)，能夠獨(dú)立完成大數(shù)據(jù)平臺(tái)架構(gòu)及流程設(shè)計(jì)；
2.精通Hadoop生態(tài)系統(tǒng)組件，如Spark、Flume、Kafka、Hbase、Hive、ZooKeeper等；
3.熟悉ETL開(kāi)發(fā)，能熟練使用至少一種ETL(talend,kettle等)轉(zhuǎn)化開(kāi)源工具優(yōu)先考慮；
4.熟悉linux環(huán)境開(kāi)發(fā)，熟練使用Linux、Shell、Perl、Python等腳本語(yǔ)言之一；
5.具有優(yōu)秀的學(xué)習(xí)能力、獨(dú)立分析問(wèn)題和解決問(wèn)題能力。