[發明專利]一種海量大文件分布式網絡下載方法及裝置

在審

• 申請號: 202111109211.5
• 申請日: 2021-09-22
• 公開（公告）號: CN113840000A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 邱江飛;婁偉貞;朱梅;吳敬超
• 申請（專利權）人: 山東易華錄信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/50
• 代理公司: 北京眾澤信達知識產權代理事務所(普通合伙) 11701
• 代理人: 張艷萍

本發明公開了一種海量大文件分布式網絡下載方法及裝置。其中，該方法包括：在控制節點提交下載地址；根據所述下載地址監控任務狀態；根據所述任務狀態，進行多線程下載，得到下載數據；判斷所述下載數據是否需要重復下載。本發明解決了現有技術在服務器上雖然可以不間斷的運行下載程序，但是受到單臺服務器網絡、存儲等資源限制，在下載數據文件非常多時，下載周期較長。curl、wget等命令不支持多線程技術，下載單個大文件的時候，效率不高，下載速度較慢，同時，這些命令不支持遠程rpc調用，不利于遠程監控和調度下載任務的技術問題。

技術領域

本發明涉及數據下載領域，具體而言，涉及一種海量大文件分布式網絡下載方法及裝置。

背景技術

隨著智能化科技的不斷發展，人們的生活、工作、學習之中越來越多地用到了智能化設備，使用智能化科技手段，提高了人們生活的質量，增加了人們學習和工作的效率。

在大氣科學、水文、海洋學、環境模擬、地球物理等諸多科研領域，數據集通常是以特定格式的文件發布在互聯網上進行共享訪問，常見的數據格式包括netCDF、HDF、GRIB等。這些科研領域的數據通常按照數據類型和時間的組織形式發布，有的將每天的數據形成一個文件，有的是按月或者按年，這些文件包含了幾年、幾十年、甚至近百年的數據，且包含了不同的觀測指標，因此數據文件數量非常多，單個文件最大可達到幾十G，總量非常巨大。

為了獲取這些文件，通常是采用在服務器端運行自動化的腳本，通過curl、wget等網絡命令對所需要的文件不間斷的爬取，直到全部下載完成為止。在服務器上雖然可以不間斷的運行下載程序，但是受到單臺服務器網絡、存儲等資源限制，在下載數據文件非常多時，下載周期較長。curl、wget等命令不支持多線程技術，下載單個大文件的時候，效率不高，下載速度較慢，同時，這些命令不支持遠程rpc調用，不利于遠程監控和調度下載任務。通常網站為了安全，會對頻繁爬取網站或者下載流量超過閾值的IP進行限制或封鎖。單點下載大量數據很容易導致IP被封，從而導致數據無法被下載。

本發明的目的是提供一種通過分布式網絡和多線程下載技術來提高海量大文件下載效率的方法。通過將許多下載任務分配給多臺服務器協同工作來縮短下載所需要的時間。通過多線程下載技術，提高單個文件的下載速度。通過分布式集群的方式，可以將受限IP的任務遷移到別的節點來避免單點IP被封鎖導致的任務失敗。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種海量大文件分布式網絡下載方法及裝置，以至少解決現有技術在服務器上雖然可以不間斷的運行下載程序，但是受到單臺服務器網絡、存儲等資源限制，在下載數據文件非常多時，下載周期較長。curl、wget等命令不支持多線程技術，下載單個大文件的時候，效率不高，下載速度較慢，同時，這些命令不支持遠程rpc調用，不利于遠程監控和調度下載任務的技術問題。

根據本發明實施例的一個方面，提供了一種海量大文件分布式網絡下載方法，包括：在控制節點提交下載地址；根據所述下載地址監控任務狀態；根據所述任務狀態，進行多線程下載，得到下載數據；判斷所述下載數據是否需要重復下載。

可選的，在所述根據所述下載地址監控任務狀態之后，所述方法還包括：根據所述任務狀態，獲取繁忙情況。

可選的，所述任務狀態包括：繁忙情況、閑置情況。

可選的，在所述判斷所述下載數據是否需要重復下載之后，所述方法還包括：重復至所述根據所述下載地址監控任務狀態。

根據本發明實施例的另一方面，還提供了一種海量大文件分布式網絡下載裝置，包括：下載模塊，用于在控制節點提交下載地址；監控模塊，用于根據所述下載地址監控任務狀態；多線程模塊，用于根據所述任務狀態，進行多線程下載，得到下載數據；判斷模塊，用于判斷所述下載數據是否需要重復下載。