[發明專利]數據獲取方法、系統、裝置、計算機設備和存儲介質

有效

• 申請號: 202011622404.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112748879B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 原帥;張晉鋒;呂灼恒;賈冬冬
• 申請（專利權）人: 中科曙光國際信息產業有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 黃晶晶

1.一種數據獲取方法，其特征在于，所述方法包括：

接收第一客戶端發送的數據獲取請求，并針對分布式鏡像倉庫中的各鏡像緩存節點，確定各所述鏡像緩存節點的資源是否正在被調度；所述數據獲取請求包括數據包標識；所述鏡像緩存節點為基于容器技術構建的所述分布式鏡像倉庫的緩存節點；

若所述鏡像緩存節點的資源未被調度，則確定所述鏡像緩存節點為空閑的鏡像緩存節點，并從所述空閑的鏡像緩存節點中確定至少一個鏡像緩存節點；

調用所述至少一個鏡像緩存節點從所述分布式鏡像倉庫中的分布式存儲系統中，獲取所述數據包標識對應的至少一個數據塊；所述分布式存儲系統用于對各個鏡像數據進行分塊存儲；

將所述至少一個數據塊組成數據包發送給所述第一客戶端；

若所述分布式鏡像倉庫中不存在空閑的鏡像緩存節點，則根據所述數據包標識確定至少一個第二客戶端；所述第二客戶端為存儲有所述數據包標識對應數據塊的其他客戶端；

從所述至少一個第二客戶端中獲取所述數據包標識對應的至少一個數據塊，并將所述至少一個數據塊組成數據包發送給所述第一客戶端。

2.根據權利要求1所述的方法，其特征在于，各所述鏡像緩存節點用于接收調度器發送的數據獲取請求，并根據所述數據獲取請求執行相應的數據包獲取操作。

3.根據權利要求1或2所述的方法，其特征在于，所述確定各所述鏡像緩存節點的資源是否正在被調度，包括：

向各所述鏡像緩存節點發送任務請求，并獲取各所述鏡像緩存節點返回的請求響應；

根據所述請求響應確定各所述鏡像緩存節點的資源是否正在被調度。

4.根據權利要求1所述的方法，其特征在于，調用所述鏡像緩存節點從分布式存儲系統中獲取所述數據包標識對應的數據塊，包括：

向各所述鏡像緩存節點發送所述數據獲取請求，以使所述鏡像緩存節點根據所述數據獲取請求中的數據包標識，分別向所述分布式存儲系統獲取所述數據包標識對應的數據塊；

接收所述鏡像緩存節點返回的所述數據塊。

5.一種數據獲取系統，其特征在于，所述系統包括：分布式存儲系統、多個鏡像緩存節點、調度器、第一客戶端以及多個第二客戶端；

所述第一客戶端，用于向所述調度器發送第一數據獲取請求；所述第一數據獲取請求包括數據包標識；

所述調度器，用于針對分布式鏡像倉庫中的各鏡像緩存節點，確定各所述鏡像緩存節點的資源是否正在被調度，若所述鏡像緩存節點的資源未被調度，則確定所述鏡像緩存節點為空閑的鏡像緩存節點，并從所述空閑的鏡像緩存節點中確定至少一個鏡像緩存節點；所述鏡像緩存節點為基于容器技術構建的所述分布式鏡像倉庫的緩存節點；

所述調度器，還用于調用所述鏡像緩存節點從所述分布式鏡像倉庫中的分布式存儲系統中，獲取所述數據包標識對應的至少一個數據塊，并將所述至少一個數據塊組成數據包發送給所述第一客戶端；所述分布式存儲系統用于對各個鏡像數據進行分塊存儲；

所述調度器，還用于在所述分布式鏡像倉庫中不存在空閑的鏡像緩存節點的情況下，根據所述數據包標識確定至少一個第二目標客戶端，并向所述第二目標客戶端發送所述第一數據獲取請求；所述第二目標客戶端為存儲有所述數據包標識對應數據塊的第二客戶端；

所述第二目標客戶端，用于向所述調度器發送所述數據包標識對應的至少一個數據塊；

所述調度器，還用于將所述至少一個數據塊組成數據包發送給所述第一客戶端。

6.根據權利要求5所述的系統，其特征在于，所述數據包標識包括至少一個數據塊標識。

7.根據權利要求5所述的系統，其特征在于，所述數據獲取請求中還包括所述第一客戶端的客戶端標識；

所述鏡像緩存節點，還用于根據所述第一數據獲取請求中的客戶端標識生成用戶標識，并向所述分布式存儲系統發送包括所述用戶標識和數據包標識的第二數據獲取請求；

所述分布式存儲系統，用于根據所述用戶標識對所述鏡像緩存節點進行合法性驗證，若所述鏡像緩存節點合法，則根據所述數據包標識向所述鏡像緩存節點反饋對應的數據塊。