[發明專利]一種數據集快速緩存的方法、系統、設備及介質

有效

• 申請號: 202010885423.1
• 申請日: 2020-08-28
• 公開（公告）號: CN112131142B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 孫遼東;王德奎
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F12/0813
• 分類號: G06F12/0813
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 楊帆;陳黎明

本發明公開了一種數據集快速緩存的方法、系統、設備和存儲介質，方法包括：建立每個數據集的源地址與總分的對應關系，并將總分記錄在源地址列表中；獲取計算節點的性能指標、網絡拓撲、數據集使用次數和使用過程中對當前節點的影響三種參數；對三種參數分配權重，基于權重計算計算節點的總分，并判斷源地址列表中是否存在總分；以及源地址列表中存在總分，根據總分確定數據集的源地址，并將數據集緩存到總分對應的源地址。本發明根據計算節點網絡拓撲、計算節點性能和已緩存數據集有效性進行打分，按照分數確定數據集的源地址，來完成數據集的快速緩存，解決了數據集服務器單點故障導致業務延遲的問題，有效的提高計算資源的利用率和生產率。

技術領域

本發明涉及數據集領域，更具體地，特別是指一種數據集快速緩存的方法、系統、計算機設備及可讀介質。

背景技術

人工智能開發平臺，將為用戶提供更加智能的AI(人工智能)容器化部署以及更具效率的分布式訓練。高效準確的訓練基于數據集的可用性，在人工智能開發平臺的歷史版本中已經通過節點緩存的方式從數據集服務器拉取數據集到本地進行緩存，但是由于數據集服務器單一(目前使用nfs或beegfs作為數據集存儲方式)，當業務并發度高時會導致數據集緩存過慢，訓練業務運行緩慢，還會偶爾出現數據集服務器假死的情況。

發明內容

有鑒于此，本發明實施例的目的在于提出一種數據集快速緩存的方法、系統、計算機設備及計算機可讀存儲介質，根據計算節點網絡拓撲、計算節點性能和已緩存數據集有效性進行打分，按照分數確定數據集的源地址，來完成數據集的快速緩存，解決了數據集服務器單點故障導致業務延遲的問題，有效的提高計算資源的利用率和生產率，減少業務成本，提高了產品的競爭力。

基于上述目的，本發明實施例的一方面提供了一種數據集快速緩存的方法，包括如下步驟：建立每個數據集的源地址與總分的對應關系，并將所述總分記錄在源地址列表中；獲取計算節點的性能指標、網絡拓撲、數據集使用次數和使用過程中對當前節點的影響三種參數；對所述三種參數分配權重，基于所述權重計算所述計算節點的總分，并判斷所述源地址列表中是否存在所述總分；以及響應于所述源地址列表中存在所述總分，根據所述總分確定所述數據集的源地址，并將所述數據集緩存到所述總分對應的源地址。

在一些實施方式中，方法還包括：搜索數據集的文件目錄以確定數據集的個數，并將所述數據集平均分配到每個源地址。

在一些實施方式中，方法還包括：使用多線程并發從不同的源地址拉取數據集到本地進行緩存。

在一些實施方式中，方法還包括：判斷源地址的負載是否超過預設閾值；響應于所述源地址的負載超過預設閾值，刪除所述源地址并增加新的源地址。

在一些實施方式中，方法還包括：響應于所述源地址列表中不存在所述總分，確定所述源地址列表中與所述總分最接近的總分，并將所述數據集緩存到所述最接近的總分對應的源地址。

在一些實施方式中，方法還包括：每隔預定時間對所述源地址列表進行更新。

在一些實施方式中，所述每隔預定時間對所述源地址列表進行更新包括：根據數據集緩存的源地址進行所述源地址的性能檢測，根據檢測結果更新源地址列表中所述源地址的總分。

本發明實施例的另一方面，還提供了一種數據集快速緩存系統，包括：關聯模塊，配置用于建立每個數據集的源地址與總分的對應關系，并將所述總分記錄在源地址列表中；采集模塊，配置用于獲取計算節點的性能指標、網絡拓撲、數據集使用次數和使用過程中對當前節點的影響三種參數；計算模塊，配置用于對所述三種參數分配權重，基于所述權重計算所述計算節點的總分，并判斷所述源地址列表中是否存在所述總分；以及緩存模塊，配置用于響應于所述源地址列表中存在所述總分，根據所述總分確定所述數據集的源地址，并將所述數據集緩存到所述總分對應的源地址。