崗位職責：1、負責數(shù)據(jù)平臺的數(shù)據(jù)采集與爬取、解析處理、入庫及備份等數(shù)據(jù)日常工作；2、負責分析新的數(shù)據(jù)需求,?完成數(shù)據(jù)處理的設計(文檔)和實現(xiàn)；3、負責數(shù)據(jù)的清洗、整理、整合及合并等工作；4、負責數(shù)據(jù)處理程序設計框架改善,?數(shù)據(jù)處理性能優(yōu)化,?系統(tǒng)數(shù)據(jù)處理的能力提高；5、負責和數(shù)據(jù)架構(gòu)師、數(shù)據(jù)挖掘、分析人員協(xié)同工作,?完成數(shù)據(jù)的統(tǒng)計、查詢和分析。應聘要求：1、計算機相關(guān)專業(yè)大專及以上學歷，三年以上數(shù)據(jù)采集方面開發(fā)經(jīng)驗；2、精通網(wǎng)頁抓取原理及技術(shù)，精通正則表達式，熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；3、熟悉Linux平臺開發(fā)，精通java或python，熟悉tcp，http協(xié)議原理；熟悉Ajax工作原理,具備扎實的數(shù)據(jù)結(jié)構(gòu)與算法功底；4、熟悉常用的反爬蟲策略，有開發(fā)自動化爬蟲框架經(jīng)驗優(yōu)先，有驗證碼識別技術(shù)者優(yōu)先；5、熟悉Mysql/MongoDB/Redis，有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗優(yōu)先；6、有數(shù)據(jù)處理和清晰經(jīng)驗，了解Hadoop、Spark等大數(shù)據(jù)框架和流處理技術(shù)者優(yōu)先；7、具有以下信息采集經(jīng)驗者優(yōu)先：企業(yè)工商信息，專利知識產(chǎn)權(quán)信息、法院判決文書等；8、具備優(yōu)秀的邏輯思維能力，對解決挑戰(zhàn)性問題充滿熱情，善于分析問題/解決問題。有強烈的上進心和求知欲，擅于學習新事物。
