[發明專利]一種分布式的大文件快速下載方法及系統

有效

• 申請號: 202110284540.7
• 申請日: 2021-03-17
• 公開（公告）號: CN113132463B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 代存折;李妃軍;翁成龍;曾凡林;戴金晶
• 申請（專利權）人: 杭州當虹科技股份有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L67/1097;H04L41/0668;H04L43/08
• 代理公司: 浙江英普律師事務所 33238
• 代理人: 劉芬豪

1.一種分布式的大文件快速下載系統，其特征在于，包括主節點裝置、注冊中心、存儲裝置和至少一臺分布式下載裝置，其中，所述主節點裝置進一步包括大文件解析模塊、下載任務分發模塊、下載進度監聽模塊和合并文件模塊；分布式下載裝置包括監聽下載任務模塊和下載模塊；

大文件解析模塊用于解析大文件的大小，根據下載裝置的數量及帶寬進行邏輯分片計算，將計算結果交由下載任務分發模塊進行處理；下載任務分發模塊用于將任務按照順序發布至注冊中心；下載進度監聽模塊用于監聽大文件所有的下載任務情況；

注冊中心用于存儲待下載任務及每個下載任務的結果，同時供監聽下載任務模塊、下載進度監聽模塊進行監聽；

監聽下載任務模塊用于自動監聽及讀取注冊中心中的新任務，讀取成功后將待下載任務節點交由下載模塊處理，同時在注冊中心中把該待下載任務節點信息刪除，將該待下載任務節點存儲至注冊中心的下載中任務節點下，最后標識該任務的狀態及所屬下載裝置信息，用于下載裝置網絡異常或宕機時進行下載任務轉移；

下載模塊用于根據分片的信息進行指定內容的下載，下載完成后將該分片任務在注冊中心中進行狀態修改，再進行刪除任務信息，然后將包括下載后的位置信息寫入注冊中心的已完成任務節點下，用于合并文件使用；

合并文件模塊用于根據分片下載任務的序號進行順序追加，合并成一個完整的文件信息；

存儲裝置掛載于整個系統，用于分片文件及最終合并后的文件存儲。

2.如權利要求1所述的分布式大文件快速下載系統，其特征在于，待下載任務節點由下載任務分發模塊創建，由監聽下載任務模塊讀取和刪除。

3.如權利要求1所述的分布式大文件快速下載系統，其特征在于，下載中任務節點由監聽下載任務模塊創建，由下載模塊刪除，由下載進度監聽模塊讀取。

4.如權利要求1所述的分布式大文件快速下載系統，其特征在于，已完成任務節點由下載模塊寫入，由下載進度監聽模塊讀取，由合并模塊刪除。

5.如權利要求1所述的分布式的大文件快速下載系統，其特征在于，分片個數為：文件總大小/下載機器平均下行帶寬/8。

6.一種分布式的大文件快速下載方法，其特征在于，應用于包括主節點裝置、注冊中心、存儲裝置和至少一臺分布式下載裝置的下載系統，所述主節點裝置進一步包括大文件解析模塊、下載任務分發模塊、下載進度監聽模塊和合并文件模塊，分布式下載裝置包括監聽下載任務模塊和下載模塊，包括以下步驟：

大文件解析模塊解析大文件的大小，根據下載裝置的數量及帶寬進行邏輯分片計算，將計算結果交由下載任務分發模塊進行處理；

下載任務分發模塊將任務按照順序發布至注冊中心；

注冊中心存儲待下載任務及每個下載任務的結果，同時供監聽下載任務模塊、下載進度監聽模塊進行監聽；

下載進度監聽模塊監聽大文件所有的下載任務情況；

監聽下載任務模塊自動監聽及讀取注冊中心中的新任務，讀取成功后將待下載任務節點交由下載模塊處理，同時在注冊中心中把該待下載任務節點信息刪除，將該待下載任務節點存儲至注冊中心的下載任務節點下，最后標識該任務的狀態及所屬下載裝置信息，用于下載裝置網絡異常或宕機時進行下載任務轉移；

下載模塊根據分片的信息進行指定內容的下載，下載完成后將該分片任務在注冊中心中進行狀態修改，再進行刪除任務信息，然后將包括下載后的位置信息寫入注冊中心的已完成節點下，用于合并文件使用；

合并文件模塊根據分片下載任務的序號進行順序追加，合并成一個完整的文件信息；

存儲裝置掛載于整個系統，用于分片文件及最終合并后的文件存儲。

7.如權利要求6所述的分布式大文件快速下載方法，其特征在于，待下載任務節點由下載任務分發模塊創建，由監聽下載任務模塊讀取和刪除。

8.如權利要求6所述的分布式大文件快速下載方法，其特征在于，下載中任務節點由監聽下載任務模塊創建，由下載模塊刪除，由下載進度監聽模塊讀取。