Crawlab(分布式爬蟲管理平臺) [V0.5.1免費版]

Crawlab是根據(jù)Golang的分布式爬蟲管理系統(tǒng)，適用Python、NodeJS、Go、Java、PHP等多種多樣計算機語言及其多種多樣爬蟲架構，分成Docker、立即布署、Kubernetes三種安裝方法！

軟件簡介

　　Crawlab架構：

　　Crawlab的架構包含了一個主節(jié)點（Master Node）和好幾個工作節(jié)點（Worker Node），及其承擔通訊和數(shù)據(jù)信息儲存的360030.html">Redis和MongoDB數(shù)據(jù)庫查詢。

　　前端開發(fā)運用向主節(jié)點要求數(shù)據(jù)信息，主節(jié)點根據(jù)MongoDB和Redis來執(zhí)行任務發(fā)放生產(chǎn)調(diào)度及其布署，工作節(jié)點接到每日任務以后，剛開始實行爬蟲每日任務，并將每日任務結果儲存到MongoDB。架構相對性于v0.3.0以前的Celery版本號有一定的精減，去除開多余的節(jié)點監(jiān)管控制模塊Flower，節(jié)點監(jiān)管關鍵由Redis進行。

　　主節(jié)點

　　主節(jié)點是全部Crawlab架構的關鍵，歸屬于Crawlab的多媒體系統(tǒng)。主節(jié)點承擔與前端開發(fā)運用開展通訊，并根據(jù)Redis將爬蟲每日任務派發(fā)送給工作節(jié)點。另外，主節(jié)點會同歩（布署）爬蟲給工作節(jié)點，根據(jù)Redis和MongoDB的GridFS。

　　工作節(jié)點

　　工作節(jié)點的關鍵作用是實行爬蟲每日任務和儲存爬取數(shù)據(jù)信息與系統(tǒng)日志，而且根據(jù)Redis的PubSub跟主節(jié)點通訊。根據(jù)提升工作節(jié)點總數(shù)，Crawlab能夠保證橫著拓展，不一樣的爬蟲每日任務能夠分派到不一樣的節(jié)點上實行。

　　MongoDB

　　MongoDB是Crawlab的運作數(shù)據(jù)庫查詢，儲存有節(jié)點、爬蟲、每日任務、計劃任務等數(shù)據(jù)信息，此外GridFS文檔儲存方法是主節(jié)點儲存爬蟲文檔并同歩到工作節(jié)點的正中間媒體。

　　Redis

　　Redis是十分火爆的Key-Value數(shù)據(jù)庫查詢，在Crawlab中關鍵完成節(jié)點間數(shù)據(jù)通訊的作用。比如，節(jié)點會將自身信息內(nèi)容根據(jù)HSET儲存在Redis的nodeshach目錄中，主節(jié)點依據(jù)hach目錄來分辨線上節(jié)點。

　　前端開發(fā)

　　前端開發(fā)是一個根據(jù)Vue-Element-Admin的單頁應用。在其中器重了許多 Element-UI的控制來適用相對的展現(xiàn)。