[發明專利]數據獲取方法、系統、裝置、計算機設備和存儲介質

有效

• 申請號: 202011622404.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112748879B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 原帥;張晉鋒;呂灼恒;賈冬冬
• 申請（專利權）人: 中科曙光國際信息產業有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 黃晶晶

本申請涉及一種數據獲取方法、系統、裝置、計算機設備和存儲介質。該方法包括：調度器接收第一客戶端發送的數據獲取請求，若分布式鏡像倉庫中存在空閑的鏡像緩存節點，則從空閑的鏡像緩存節點中確定至少一個鏡像緩存節點，調用至少一個鏡像緩存節點從分布式鏡像倉庫中的分布式存儲系統中，獲取數據獲取請求中的數據包標識對應的至少一個數據塊，并將至少一個數據塊組成數據包發送給第一客戶端。在本方法中，基于分布式存儲系統對各個鏡像數據進行分塊存儲，實現服務能力和存儲容量的水平擴展，解決單機存儲容量問題，且，通過基于分布式存儲系統部署多個鏡像緩存節點，極大的減少分布式存儲系統的帶寬壓力，縮短數據包的讀取延遲。

技術領域

本申請涉及互聯網技術領域，特別是涉及一種數據獲取方法、系統、裝置、計算機設備和存儲介質。

背景技術

Linux容器(Linux containers，LXC)是一種內核虛擬化技術，可以提供輕量級的虛擬化，以便隔離進程和資源，現在比較成型的技術就是通過Docker容器技術來簡化軟件的部署和發布。容器技術的核心在于通過鏡像將運行環境打包，在容器鏡像的發布管理中，鏡像倉庫負責鏡像的存儲和分發。

現有技術基于Docker Registry開源私有鏡像倉庫、磁盤文件系統實現整個鏡像文件的存儲和分發，并對Docker Registry開源私有鏡像倉庫進行了擴展和增強，例如，VMware Harbor、Sonatype Nexus、SUSE Portus等鏡像庫。

但是，上述基于磁盤文件系統的鏡像倉庫，是以整個鏡像文件為單位進行存儲或分發，導致鏡像倉庫進程讀取延遲大，無法滿足高并發高吞吐鏡像請求需要。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠減少讀取延遲的數據獲取方法、系統、裝置、計算機設備和存儲介質。

第一方面，提供一種數據獲取方法，該方法包括：

接收第一客戶端發送的數據獲取請求；數據獲取請求包括數據包標識；

若分布式鏡像倉庫中存在空閑的鏡像緩存節點，則從空閑的鏡像緩存節點中確定至少一個鏡像緩存節點；

調用至少一個鏡像緩存節點從分布式鏡像倉庫中的分布式存儲系統中，獲取數據包標識對應的至少一個數據塊；分布式存儲系統用于對各個鏡像數據進行分塊存儲；

將至少一個數據塊組成數據包發送給第一客戶端。

在本實施例中，分布式存儲系統用于對各個鏡像數據進行分塊存儲，實現服務能力和存儲容量的水平擴展，解決單機存儲容量問題，且，通過基于分布式存儲系統部署多個鏡像緩存節點，極大的減少分布式存儲系統的帶寬壓力，縮短數據包的讀取延遲。

在其中一個實施例中，上述方法還包括：

若分布式鏡像倉庫中不存在空閑的鏡像緩存節點，則根據數據包標識確定至少一個第二客戶端；第二客戶端為存儲有數據包標識對應數據塊的其他客戶端；

從至少一個第二客戶端中獲取數據包標識對應的至少一個數據塊；

將至少一個數據塊組成數據包發送給第一客戶端。

在本實施例中，調度器在鏡像緩存節點占用的情況下，還可以從其他客戶端節點進行數據包的獲取，縮短數據包的讀取延遲，從而滿足高并發場景下的鏡像操作。

在其中一個實施例中，上述方法還包括：

確定各鏡像緩存節點的資源是否正在被調度；

若鏡像緩存節點的資源未被調度，則確定鏡像緩存節點為空閑的鏡像緩存節點。