[發(fā)明專利]管理處理系統(tǒng)效率

在審

• 申請?zhí)枺?/td>: 201880030646.0
• 申請日: 2018-11-20
• 公開（公告）號: CN111344677A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計）人: 程利群;羅摩·克里希納·戈文達拉朱;朱海杉;大衛(wèi)·羅;帕塔薩拉蒂·蘭加納坦;尼桑特·帕蒂
• 申請（專利權(quán)）人: 谷歌有限責任公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海華誠知識產(chǎn)權(quán)代理有限公司 31300
• 代理人: 肖華

方法、系統(tǒng)和存儲指令的計算機存儲介質(zhì)，用于獲取將處理系統(tǒng)中的多個通用處理單元劃分為高優(yōu)先級域和低優(yōu)先級域的數(shù)據(jù)，其中，高優(yōu)先級域中的通用處理單元被分配為執(zhí)行包括一個或多個高優(yōu)先級任務(wù)的一個或多個任務(wù)，低優(yōu)先級域中的通用處理單元被分配為執(zhí)行一個或多個低優(yōu)先級任務(wù)；在處理系統(tǒng)運行時，獲取表征高優(yōu)先級域和低優(yōu)先級域?qū)ο到y(tǒng)存儲器的使用的存儲器使用率度量；并且基于存儲器使用率度量，調(diào)整(i)高優(yōu)先級域，(ii)低優(yōu)先級域，或(iii)兩者的配置，以調(diào)整通用處理單元對系統(tǒng)存儲器的使用。

相關(guān)申請的交叉引用

本申請要求于2017年11月21日提交的標題為“管理處理系統(tǒng)效率”的美國專利申請No.62/589,535的優(yōu)先權(quán)，其全部內(nèi)容通過引用合并于此。

背景技術(shù)

本說明書涉及提高加速的資源密集型計算效率。

與例如傳統(tǒng)的中央處理單元(Central Processing Unit，CPU)的通用處理器相比，諸如圖形處理單元(GPU)或張量處理單元(TPU)的硬件加速器具有更大的計算能力。結(jié)果，加速器已開始推動關(guān)鍵工作負載的性能改善。例如，加速器廣泛用于機器學習訓練和推理任務(wù)。

發(fā)明內(nèi)容

本說明書描述了一種系統(tǒng)，該系統(tǒng)被實現(xiàn)為在一個或多個位置的一個或多個計算機上的計算機程序，該系統(tǒng)管理包括多個通用處理單元的處理系統(tǒng)的效率。

該系統(tǒng)將多個通用處理單元(例如，CPU核)劃分為高優(yōu)先級和低優(yōu)先級域。高優(yōu)先級域中的通用處理單元被分配為執(zhí)行包括一個或多個高優(yōu)先級任務(wù)的一個或多個任務(wù)，并且低優(yōu)先級域中的通用處理單元被分配為執(zhí)行包括一個或多個低優(yōu)先級任務(wù)的一個或多個任務(wù)。通常，不分配低優(yōu)先級域中的處理單元執(zhí)行任何高優(yōu)先級任務(wù)。此外，處理系統(tǒng)通常還包括一個或多個硬件加速器，這些硬件加速器被分配了資源密集型工作負載，例如機器學習工作負載，并且高優(yōu)先級任務(wù)是與該資源密集型工作負載相關(guān)聯(lián)的任務(wù)，即支持分配給硬件加速器的工作負載的任務(wù)。

在處理系統(tǒng)運行時，系統(tǒng)會獲取使用率度量，這些度量表征高優(yōu)先級域和低優(yōu)先級域?qū)ο到y(tǒng)存儲器的使用。基于存儲器使用率度量，系統(tǒng)調(diào)整(i)高優(yōu)先級域，(ii)低優(yōu)先級域或，或者(iii)兩者的配置，以調(diào)整通用處理單元對系統(tǒng)存儲器的利用。

系統(tǒng)可以重復獲取使用率度量并在運行時調(diào)整配置，以提高處理系統(tǒng)的效率。

可以實施本說明書中描述的主題的特定實施例，以實現(xiàn)以下優(yōu)點中的一個或多個。盡管在資源密集型計算中，硬件加速器負責最繁重的計算任務(wù)，但通用處理器(例如CPU)通常執(zhí)行各種支持角色。例如，在大規(guī)模的分布式機器學習系統(tǒng)中，CPU可以執(zhí)行收集和同步機器學習模型參數(shù)的支持角色。但是，CPU的支持角色可能會通過與加速器競爭共享資源(諸如系統(tǒng)存儲器)，而降低系統(tǒng)性能。所描述的技術(shù)將多個通用處理單元劃分為高優(yōu)先級和低優(yōu)先級域，每個子域內(nèi)的存儲器請求由相應(yīng)的存儲器控制器處理，并且享有較低的存儲器延遲和高速緩存延遲。此外，通過用低優(yōu)先級CPU任務(wù)填充高優(yōu)先級域，可以重新獲得由于域分割的分裂而導致的吞吐量損失。此外，通過在運行時比較性能計數(shù)器的度量，系統(tǒng)可以選擇增強、節(jié)制或保持資源配置，以減少高優(yōu)先級和低優(yōu)先級域內(nèi)以及高優(yōu)先級和低優(yōu)先級域之間的資源爭用。

在下面的附圖和描述中闡述了本說明書的主題的一個或多個實施例的細節(jié)。根據(jù)說明書、附圖和權(quán)利要求書，本主題的其他特征、方面和優(yōu)點將變得顯而易見。

附圖說明

圖1是被設(shè)計為管理資源密集型計算的示例處理系統(tǒng)的圖。

圖2是用于管理多個處理單元上的資源的示例處理的流程圖。

圖3是用于配置多個處理單元上的資源的示例軟件邏輯的流程圖。

現(xiàn)在將參考附圖詳細描述本發(fā)明的特定實施例。為了一致性，各個附圖中的相似元件由相似的附圖標記表示。

具體實施例