崗位職責：
1、負責Hadoop大數(shù)據(jù)平臺各類數(shù)據(jù)業(yè)務抽象及模型化；
2、負責數(shù)據(jù)倉庫ETL設計、開發(fā)及自動化工作
3、負責Spark的功能擴展和性能優(yōu)化，使用海量數(shù)據(jù)解決并實現(xiàn)業(yè)務需求，
4、設計或配合算法工程師實現(xiàn)算法，解決實體識別、情感分析等相關(guān)問題
5、使用Hive、Spark進行數(shù)據(jù)處理，協(xié)助建立數(shù)據(jù)模型；
任職要求：
1、本科及以上學歷。2年以上相關(guān)工作經(jīng)驗，精通SQL，精通Java、scala，Python其中至少一門語言，
2、熟悉數(shù)據(jù)庫/數(shù)據(jù)倉庫設計
3、熟悉Hive、Spark、kafka，Sqoop、hdfs，HBase
4，熟悉linux開發(fā)環(huán)境，掌握shell編程
5，參與過中大型大數(shù)據(jù)項目的架構(gòu)和設計的優(yōu)先考慮
6、有nlp相關(guān)經(jīng)驗者優(yōu)先考慮
