[發明專利]一種基于RabbitMQ和MongoDB的下載系統

有效

• 申請號: 201710573719.8
• 申請日: 2017-07-13
• 公開（公告）號: CN107451211B
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 馬震遠;林智勇;劉少鵬;方浩生;林安成
• 申請（專利權）人: 廣東技術師范學院
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F9/54;G06F11/14;H04L29/08
• 代理公司: 11760 北京前審知識產權代理有限公司
• 代理人: 陳姍姍;王薇潔<國際申請>=<國際公布>

1.一種基于RabbitMQ和MongoDB的下載系統，其特征在于，包括MongoDB、生產者模塊、RabbitMQ、消費者模塊，

所述生產者模塊，被配置為查詢MongoDB中存儲的任務、和將任務傳輸至RabbitMQ中，以及接收經由RabbitMQ反饋的任務的更新并進一步將所述任務的更新返回到MongoDB；

所述消費者模塊，被配置為接收并執行由RabbitMQ傳入的所述任務，并將任務的更新經由RabbitMQ反饋給生產者模塊；

其中，所述消費者模塊包括任務調度單元、資源獲取單元、后處理單元、云存儲單元，

所述任務調度單元用于實現資源獲取單元和生產者模塊的通訊，提供用于任務獲取、結果提交、異常處理和數據同步的接口；

所述資源獲取單元用于接收和執行任務調度單元分配的任務，將任務中的目標數據下載到本地或交給后處理模塊；

所述后處理單元用于將所述資源獲取單元傳入的數據進行處理交給云存儲單元處理；

所述云存儲單元將數據進行格式轉化并上傳至云端，同時將數據更新提交給任務調度單元。

2.根據權利要求1所述的基于RabbitMQ和MongoDB的下載系統，其特征在于，所述消費者模塊將RabbitMQ傳入的任務反序列化，再進行補全數據，再序列化為JSON格式。

3.根據權利要求1所述的基于RabbitMQ和MongoDB的下載系統，其特征在于，所述資源獲取單元根據不同的目標平臺進行適配。

4.根據權利要求1所述的基于RabbitMQ和MongoDB的下載系統，其特征在于，所述后處理單元包括視頻分析子單元、音頻分析子單元。

5.根據權利要求1所述的基于RabbitMQ和MongoDB的下載系統，其特征在于，所述后處理單元包括視頻分析子單元、音頻分析子單元可插拔。

6.根據權利要求1所述的基于RabbitMQ和MongoDB的下載系統，其特征在于，所述消費者模塊還包括回滾點回滾單元，所述回滾點回滾單元位于主線程的內層和各子任務單元。

7.一種基于RabbitMQ和MongoDB的下載方法，其特征在于，包括如下步驟：

生產者模塊從MongoDB獲取任務，將任務傳輸給RabbitMQ；

RabbitMQ將任務轉發到消費者模塊；

消費者模塊對RabbitMQ傳入的任務進行調度、執行，將任務結果作為任務的更新提交給RabbitMQ；

RabbitMQ將所述任務結果轉發到生產者模塊；

生產者模塊將所述任務結果提交給MongoDB；

其中，所述消費者模塊包括任務調度單元、資源獲取單元、后處理單元、云存儲單元，

所述任務調度單元用于實現資源獲取單元和生產者模塊的通訊，提供用于任務獲取、結果提交、異常處理和數據同步的接口；

所述資源獲取單元用于接收和執行任務調度單元分配的任務，將任務中的目標數據下載到本地或交給后處理模塊；

所述后處理單元用于將所述資源獲取單元傳入的數據進行處理交給云存儲單元處理；

所述云存儲單元將數據進行格式轉化并上傳至云端，同時將數據更新提交給任務調度單元。

8.根據權利要求7所述的下載方法，其特征在于，所述消費者模塊對傳入的任務的執行具體包括：根據任務的目標平臺進行解析，獲得任務的額外信息，并將額外信息更新到任務中。

9.根據權利要求7所述的下載方法，其特征在于，所述消費者模塊的執行還包括：全局異常處理，在關鍵過程會設置回滾點，若任務執行過程中出現異常時會選擇回滾點進行回滾，刪除臨時數據并且釋放任務回RabbitMQ中。