崗位要求:
1.對爬蟲、圖形驗證碼識別等技術有較深入研究
2. 計算機或相關專業(yè)??埔陨蠈W歷,3年以上爬蟲工作經(jīng)驗
3. 掌握網(wǎng)絡爬蟲開發(fā)原理,對互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式數(shù)據(jù),知道如何處理需登錄網(wǎng)站、動態(tài)頁面、封賬號IP等各種情況下的數(shù)據(jù)采集方法
4. 熟悉大規(guī)模網(wǎng)頁爬取,深度網(wǎng)頁爬取,熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技術平臺和主要框架,精通Java開發(fā),能熟練應用spring,MyBatis, MQ等主流技術框架;
4. 對數(shù)據(jù)庫有充分了解,熟悉Oracle、MySQL、NonSQL等技術
5. 熟悉分布式系統(tǒng)開發(fā)和存儲技術,如Redis、Memcache、Ehcache等
6. 學習能力強,對新技術研究狂熱,有很強獨立研究能力
崗位職責:
1.參與爬蟲系統(tǒng)的設計和開發(fā),負責爬蟲系統(tǒng)的框架設計
2.負責網(wǎng)頁信息抽取、數(shù)據(jù)清洗等研發(fā)和優(yōu)化工作
3.對互聯(lián)網(wǎng)海量業(yè)務進行整合、分析挖掘
4.與技術團隊進行溝通,負責爬蟲數(shù)據(jù)與業(yè)務系統(tǒng)的整合對接
5.能主導部門新技術研究、開發(fā)
1.對爬蟲、圖形驗證碼識別等技術有較深入研究
2. 計算機或相關專業(yè)??埔陨蠈W歷,3年以上爬蟲工作經(jīng)驗
3. 掌握網(wǎng)絡爬蟲開發(fā)原理,對互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式數(shù)據(jù),知道如何處理需登錄網(wǎng)站、動態(tài)頁面、封賬號IP等各種情況下的數(shù)據(jù)采集方法
4. 熟悉大規(guī)模網(wǎng)頁爬取,深度網(wǎng)頁爬取,熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技術平臺和主要框架,精通Java開發(fā),能熟練應用spring,MyBatis, MQ等主流技術框架;
4. 對數(shù)據(jù)庫有充分了解,熟悉Oracle、MySQL、NonSQL等技術
5. 熟悉分布式系統(tǒng)開發(fā)和存儲技術,如Redis、Memcache、Ehcache等
6. 學習能力強,對新技術研究狂熱,有很強獨立研究能力
崗位職責:
1.參與爬蟲系統(tǒng)的設計和開發(fā),負責爬蟲系統(tǒng)的框架設計
2.負責網(wǎng)頁信息抽取、數(shù)據(jù)清洗等研發(fā)和優(yōu)化工作
3.對互聯(lián)網(wǎng)海量業(yè)務進行整合、分析挖掘
4.與技術團隊進行溝通,負責爬蟲數(shù)據(jù)與業(yè)務系統(tǒng)的整合對接
5.能主導部門新技術研究、開發(fā)
職位類別: 其他
舉報
爬蟲開發(fā)工程師職業(yè)大全:

- 公司規(guī)模:50 - 99人
- 公司性質:民營企業(yè)
- 所屬行業(yè):網(wǎng)絡運營公司
- 所在地區(qū):廣東-深圳市-南山區(qū)
- 聯(lián)系人:陳小姐
- 手機:會員登錄后才可查看
- 郵箱:會員登錄后才可查看
- 郵政編碼:
工作地址
- 地址:科興科學園B4棟1401