崗位職責1、主要負責海外常見社媒、電商站點維護與爬蟲開發(fā)2、參與采集系統(tǒng)的存儲、調(diào)度、解析、監(jiān)控等研發(fā)3、擁有強大的問題解決和分析能力，能夠快速定位和修復(fù)爬蟲腳本中的問題4、熟悉并了解自動化爬蟲采集，5、負責python相關(guān)業(yè)務(wù)功能開發(fā)任職要求1、全日制本科及以上學歷，計算機相關(guān)專業(yè)2、1-3年以上Python開發(fā)經(jīng)驗，具備扎實的編程能力和良好的代碼習慣3、熟練掌握Python及其常用開源庫，精通主流爬蟲框架(如Scrapy)，深入理解其工作原理和使用場景4、精通網(wǎng)絡(luò)抓包分析，熟練使用抓包工具5、具備JS逆向分析能力，能夠處理加密、混淆、字體加密等反爬措施6、熟練掌握分布式系統(tǒng)相關(guān)技術(shù)，了解多進程、多線程、協(xié)程、異步編程等7、精通主流數(shù)據(jù)庫技術(shù)，包括MySQL、MongoDB、redis、消息隊列等8、熟練掌握IP代理池、標頭認證、cookie管理等反反爬技術(shù)了解app逆向更加分喔~

深圳視界信息技術(shù)有限公司(簡稱視界)成立于2012年12月28日，位于改革開放的前沿陣地深圳，是一家以網(wǎng)絡(luò)信息處理為主要經(jīng)營方向的高新科技企業(yè)，在互聯(lián)網(wǎng)海量信息處理方面擁有豐富的實踐經(jīng)驗與超強的技術(shù)優(yōu)勢，是大數(shù)據(jù)行業(yè)內(nèi)領(lǐng)先的信息化解決方案提供商。公司定位于互聯(lián)網(wǎng)結(jié)構(gòu)化、半結(jié)構(gòu)化海量數(shù)據(jù)處理細分市場，立足前沿技術(shù)，專注互聯(lián)網(wǎng)信息服務(wù)、數(shù)據(jù)采集、數(shù)據(jù)挖掘，以打造針對企業(yè)的從數(shù)據(jù)源到內(nèi)部業(yè)務(wù)系統(tǒng)的一站式信息數(shù)據(jù)服務(wù)為核心目標。公司多年來致力于企業(yè)級數(shù)據(jù)整合，專注于網(wǎng)頁數(shù)據(jù)采集、整理、分析和挖掘，在互聯(lián)網(wǎng)信息處理領(lǐng)域擁有多項獨立知識產(chǎn)權(quán)認證，擁有一整套網(wǎng)頁數(shù)據(jù)處理平臺，尤其高難度網(wǎng)頁數(shù)據(jù)抓取技術(shù)處于國際領(lǐng)先水平。公司核心產(chǎn)品為“八爪魚數(shù)據(jù)采集系統(tǒng)”，產(chǎn)品發(fā)布初期即達到日網(wǎng)頁采集上百萬，可采集數(shù)據(jù)不受行業(yè)限制，客戶涵蓋政府、企業(yè)、高校、銀行等在內(nèi)的各領(lǐng)域，同時在香港、美國等地也有長期合作的海外客戶。
八爪魚數(shù)據(jù)采集系統(tǒng)（http://bazhuayu.com）以完全自主研發(fā)的分布式云計算平臺為核心，可以在很短的時間內(nèi)，輕松從各種不同的網(wǎng)站或者網(wǎng)頁獲取大量的規(guī)范化數(shù)據(jù)，幫助任何需要從網(wǎng)頁獲取信息的客戶實現(xiàn)數(shù)據(jù)自動化采集、編輯、規(guī)范化，擺脫對人工搜索及收集數(shù)據(jù)的依賴，從而降低獲取信息的成本、提高效率。
數(shù)多多（http://shuduoduo.com）是由深圳視界信息技術(shù)有限公司研發(fā)的數(shù)據(jù)共享與交易平臺，提供數(shù)據(jù)API、數(shù)據(jù)包、數(shù)據(jù)分析報告等大數(shù)據(jù)產(chǎn)品與服務(wù)。我們致力于推動數(shù)據(jù)共享、提升數(shù)據(jù)價值，為繁榮中國大數(shù)據(jù)生態(tài)圈而努力！