[發明專利]利用計算機系統處理任務的方法、電子設備和存儲介質

有效

• 申請號: 202010003595.1
• 申請日: 2020-01-03
• 公開（公告）號: CN110795226B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F3/06
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本申請提供了一種利用計算機系統處理任務的方法、電子設備以及非瞬時性計算機可讀存儲介質；其中，電子設備包括處理器和存儲器，存儲器存儲有計算機程序，計算機程序被處理器執行時，使得處理器執行計算機存儲管理方法。本申請提供的任務處理方法和裝置可基于深度強化學習的思想，采用深度估值網絡，對系統在處于某種狀態下，處理任務，而在處理任務的過程中，需要為數據存儲請求分配存儲資源。

技術領域

本申請涉及計算機領域，具體涉及一種利用計算機系統處理任務的方法、電子設備和非瞬時性計算機可讀存儲介質。

背景技術

隨著計算機技術的發展，越來越多的任務可以利用計算機系統來處理，例如，大型計算、圖像分析和/或圖像處理等等。隨著計算機系統處理的任務越來越多，不可避免地遇到計算任務并行處理的情況，而任務在并行處理的過程中，也不可避免地會遇到數據緩存的問題。存儲管理是計算機系統中常見的問題。隨著計算機技術的發展，在任務執行/ 數據處理的過程中，有大量的數據需要進行存儲或緩存。

在計算機系統中處理任務的過程中，如何高效地對數據進行存儲或緩存已成為亟待解決的問題。

發明內容

基于此，本申請提供了一種利用計算機系統處理任務以進行數據緩存管理的方法，包括：

獲取待處理任務及所述待處理任務的配置信息，其中，所述配置信息包括存儲信息和計算信息；

根據所述待處理任務的存儲信息以及所述計算機系統的當前可用的存儲資源信息，利用預先訓練好的深度估值網絡，為所述待處理任務的存儲請求集合分配存儲資源，其中，所述當前可用的存儲資源信息是大小可變的，所述預先訓練好的深度估值網絡為在強化學習算法中用于表示估值函數的深度神經網絡，其中所述深度神經網絡使用經驗回演的方法，采樣和訓練分離，使用off-policy的策略訓練，每次采樣的結果放回經驗池，訓練時從經驗池中抽取樣本進行訓練，樣本能夠重復利用。

根據所述計算信息將計算數據調度至所分配的存儲資源并進行計算，

所述配置信息還包括任務的拆分信息，所述拆分信息用于將所述待處理任務拆分為多個子任務，其中，所述多個子任務包括子配置信息，所述子配置信息包括子存儲信息和子計算信息，將所述子任務定義為待處理子任務，

所述計算機系統在處理所述多個待處理子任務時，進行如下操作：

根據所述待處理子任務的子存儲信息以及所述計算機系統的當前可用的存儲資源信息，利用預先訓練好的深度估值網絡，為所述待處理子任務的存儲請求集合分配存儲資源；

根據所述子計算信息將計算數據調度至所分配的存儲資源并進行計算。

根據本申請的另一方面，提供了一種電子設備，包括：

處理器；

存儲器，存儲有計算機程序，所述計算機程序被所述處理器執行時，使得所述處理器執行如上所述的方法。

根據本申請的另一方面，提供了一種非瞬時性計算機可讀存儲介質，其上存儲有計算機可讀指令，當所述指令被處理器執行時，使得所述處理器執行如上所述的方法。

本申請提供的任務處理方法和裝置可基于深度強化學習的思想，采用深度估值網絡，對系統在處于某種狀態下，處理任務，而在處理任務的過程中，需要為數據存儲請求分配存儲資源。由于系統的可用存儲資源是實時發生變化的，數據存儲請求也實時發生變化，而這種深度估值網絡正適于處理這種大小可變的存儲塊的分配和釋放。而且，這種方式能夠針對已知的存儲資源和存儲請求給出存儲分配的全局優化，而不是只針對處理的當前請求和剩余內存空間排布進行固定策略的局部優化。這種方式尤其適用于在運算過程中的數據緩存管理。

附圖說明