崗位職責：
負責美國及相關發(fā)達國家電子商務網(wǎng)站、Trade?show以及知名品牌和一般品牌商家信息的抓取；
負責網(wǎng)頁爬蟲架構設計與核心技術研發(fā)；
設計策略和算法，提升網(wǎng)頁抓取的效率和質量，進一步解決系統(tǒng)的網(wǎng)頁排重、垃圾控制、資源劃分等問題；
解決爬蟲開發(fā)和反爬技術的關鍵技術難點。
職位要求：
大學本科及以上學歷，計算機相關專業(yè)畢業(yè)；
從事過網(wǎng)絡爬蟲研究開發(fā)工作1年以上，精通網(wǎng)頁抓取原理及技術的實現(xiàn)細節(jié)，從結構化的和非結構化的數(shù)據(jù)中獲取信息；
熟悉Python或JAVA，或者熟悉.NET網(wǎng)絡編程；熟悉MySQL,Sql?Server數(shù)據(jù)庫,SQL語句；
精通http底層協(xié)議；精通深度抓取、動態(tài)網(wǎng)頁技術抓取、瀏覽器模擬抓取技術等；熟悉XML、JSON、SOAP協(xié)議；
有大規(guī)模數(shù)據(jù)處理、分布式計算、數(shù)據(jù)倉庫經(jīng)驗者優(yōu)先；
為人正直、開朗，積極上進，樂于接收新鮮事物，學習能力強，具有強烈的團隊合作意識及執(zhí)行力。