崗位職責(zé):?1.負責(zé)大數(shù)據(jù)處理平臺的總體技術(shù)工作,包括需求分析、架構(gòu)設(shè)計、研發(fā)、以及性能分析工作;?2.負責(zé)設(shè)計、構(gòu)建和優(yōu)化基于Hadoop/Hbase的存儲平臺架構(gòu);?3.負責(zé)整體提升Hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高擴展特性;?4.根據(jù)業(yè)務(wù)需求,提出最優(yōu)的技術(shù)解決方案;分解詳細的開發(fā)任務(wù),能配合其他項目制定開發(fā)計劃、開發(fā)文檔、開發(fā)流程圖;?5.負責(zé)帶領(lǐng)項目及培訓(xùn)團隊,指導(dǎo)技術(shù)團隊完成數(shù)據(jù)規(guī)則的定義、數(shù)據(jù)模型的建立、數(shù)據(jù)清洗、數(shù)據(jù)遷移等工作。?6.負責(zé)數(shù)據(jù)架構(gòu)的規(guī)劃,并制定實施標(biāo)準(zhǔn)和規(guī)范,確保得到有效的執(zhí)行,同時保障數(shù)據(jù)以及文檔的質(zhì)量達到預(yù)定的標(biāo)準(zhǔn)。?任職資格:?1.?5年以上軟件開發(fā)經(jīng)驗,精通Java開發(fā),3年以上Hadoop相關(guān)開發(fā)經(jīng)驗;?2.具備數(shù)據(jù)庫系統(tǒng)基本理論知識,至少掌握一種主流商業(yè)數(shù)據(jù)庫產(chǎn)品如Oralce的管理和應(yīng)用,精通SQL語言,精通存儲過程;?3.對Hadoop的Map/Reduce原理有深入研究,有相關(guān)項目的實際開發(fā)經(jīng)驗;?4.熟悉Hadoop、Hive和hbase、storm等開源項目;?5.對基于Hadoop的大數(shù)據(jù)處理體系有深入認(rèn)識,具備相關(guān)產(chǎn)品(Hadoop/Storm?/Hive/Hbase)項目應(yīng)用研發(fā)經(jīng)驗,熟悉分布式系統(tǒng)、分布式計算系統(tǒng)的工作機制,能熟練掌握相關(guān)核心技術(shù)的工作機理;具有大規(guī)模數(shù)據(jù)平臺,高并發(fā)大型系統(tǒng),大數(shù)據(jù)等架構(gòu)設(shè)計和開發(fā)經(jīng)驗;?6.熟悉全文檢索技術(shù),如Solr、Lucene等使用;?7.具備數(shù)據(jù)管理和存儲相關(guān)項目和系統(tǒng)的開發(fā)經(jīng)驗,具有豐富的數(shù)據(jù)分析、挖掘和數(shù)據(jù)倉庫建模的項目實踐經(jīng)驗;?8.具有良好的溝通、組織和領(lǐng)導(dǎo)能力,優(yōu)秀的分析問題和解決問題的能力,對解決具有挑戰(zhàn)性問題充滿激情,具備強烈的進取心和優(yōu)秀團隊合作精神;?9.具有實時數(shù)據(jù)采集系統(tǒng)項目經(jīng)驗者優(yōu)先;具有金融行業(yè)大數(shù)據(jù)應(yīng)用工作經(jīng)驗者優(yōu)先。