[發明專利]針對AI計算集群的運行頻率控制方法、系統及相關設備

在審

• 申請號: 202310203474.5
• 申請日: 2023-03-06
• 公開（公告）號: CN116069152A
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 章弋嘉;林哲;王丙強;徐鵬翔;田永鴻
• 申請（專利權）人: 鵬城實驗室
• 主分類號: G06F1/3234
• 分類號: G06F1/3234;G06F9/50
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 陳專

本發明公開了一種針對AI計算集群的運行頻率控制方法、系統及相關設備，方法包括：采集獲取AI計算集群中各AI處理器對應的處理器狀態數據集合；根據各AI處理器對應的處理器狀態數據集合分別構建各AI處理器對應的頻率關系模型并據此分別獲取各AI處理器對應的最優運行頻率，其中，一個AI處理器對應的最優運行頻率是該AI處理器對應的所有候選運行頻率中能效比最高的一個候選運行頻率，一個AI處理器對應的候選運行頻率包括根據該AI處理器對應的頻率關系模型獲取的滿足預設性能約束條件的運行頻率，據此分別對AI計算集群中的各AI處理器進行運行頻率控制。本發明有利于降低AI計算集群的功耗和提高AI計算集群的能效比。

技術領域

本發明涉及人工智能處理器控制技術領域，尤其涉及的是一種針對AI計算集群的運行頻率控制方法、系統及相關設備。

背景技術

隨著科學技術的發展，尤其是人工智能（AI，Artificial?Intelligence）技術的發展，人工智能計算集群（即AI計算集群）的應用越來越廣泛。AI計算集群是指使用了AI處理器（即AI計算芯片）的具有強大AI算力的計算集群系統，能夠滿足日益增長的AI算力需求。

在AI計算集群的使用過程中，需要對其中的AI?處理器進行運行頻率的控制。現有技術中，通常以性能優先為目標對AI計算集群進行運行頻率控制，即將AI處理器的運行頻率設置為設備支持的最高數值，這樣可以最高程度釋放系統的算力。現有技術的問題在于，以性能優先為目標進行控制時，犧牲了功耗和能效比，不利于降低AI計算集群的功耗和提高AI計算集群的能效比。

因此，現有技術還有待改進和發展。

發明內容

本發明的主要目的在于提供一種針對AI計算集群的運行頻率控制方法、系統及相關設備，旨在解決現有技術中以性能優先為目標對AI計算集群進行運行頻率控制時不利于降低AI計算集群的功耗和提高AI計算集群的能效比的問題。

為了實現上述目的，本發明第一方面提供一種針對AI計算集群的運行頻率控制方法，其中，上述針對AI計算集群的運行頻率控制方法包括：

采集獲取AI計算集群中各AI處理器對應的處理器狀態數據集合，其中，一個AI處理器對應的處理器狀態數據集合中包括該AI處理器在不同運行頻率下獲得的多組硬件狀態數據，一組上述硬件狀態數據包括功耗和硬件指標數據；

根據各上述AI處理器對應的處理器狀態數據集合分別構建各上述AI處理器對應的頻率關系模型，其中，一個AI處理器對應的頻率關系模型體現該AI處理器的運行頻率、性能和功耗之間的關系；

根據各上述AI處理器對應的頻率關系模型，分別獲取各上述AI處理器對應的最優運行頻率，其中，一個AI處理器對應的最優運行頻率是該AI處理器對應的所有候選運行頻率中能效比最高的一個候選運行頻率，一個AI處理器對應的候選運行頻率包括根據該AI處理器對應的頻率關系模型獲取的滿足預設性能約束條件的運行頻率，上述能效比是性能與功耗的比值；

根據各上述AI處理器對應的最優運行頻率，分別對上述AI計算集群中的各上述AI處理器進行運行頻率控制。

可選的，上述采集獲取AI計算集群中各AI處理器對應的處理器狀態數據集合，包括：

獲取各上述AI處理器對應的采樣間隔；

根據各上述AI處理器對應的采樣間隔分別對各上述AI處理器的運行頻率進行多次調整，在每一次調整上述AI處理器的運行頻率后采集獲取上述AI處理器對應的一組硬件狀態數據；

根據各上述AI處理器對應的所有硬件狀態數據獲取各上述AI處理器對應的處理器狀態數據集合。

可選的，上述采樣間隔根據對應的AI處理器的硬件采樣延遲確定。

可選的，上述AI計算集群中的AI處理器包括圖形處理器、嵌入式神經網絡處理器和張量處理器中的至少一種。