[發明專利]用于熱控制的機器學習裝置、系統和方法

有效

• 申請號: 201811312648.7
• 申請日: 2018-11-06
• 公開（公告）號: CN110018722B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 蔡昀達;李振瑋;覃黔黔;王毓弘;龔育諄;蕭惟哲;張智堡;蔡淑貞;莊明昌;范瑞展
• 申請（專利權）人: 聯想企業解決方案（新加坡）有限公司
• 主分類號: G06F1/20
• 分類號: G06F1/20;G06N20/00
• 代理公司: 深圳尚業知識產權代理事務所(普通合伙) 44503
• 代理人: 王利彬

1.一種用于針對電子設備建立熱控制策略的機器學習裝置，包括：

狀態觀察模塊，其被配置為接收與所述電子設備的熱條件相關聯的一個或多個狀態變量，所述一個或多個狀態變量以圖形形式呈現；

瞬態模型模塊，所述瞬態模型模塊被配置為基于所述一個或多個狀態變量生成獎賞；其中，所述一個或多個狀態變量包括所述電子設備的處理器的溫度；所述瞬態模型模塊被配置為當所述處理器的溫度超過第一閾值時將所述獎賞減少第一值，且當所述處理器的溫度超過第二閾值時將所述獎賞減少第二值；以及

強化學習模塊，其被配置為基于所述獎賞和所述一個或多個狀態變量來更新動作值表；該動作值表包括所述電子設備的風扇值表，其指示下一動作中所述電子設備的風扇的脈沖寬度調制PWM信號的占空比的增加或減少。

2.如權利要求1所述的機器學習裝置，其中，所述一個或多個狀態變量還包括環境溫度、所述電子設備的所述處理器消耗的功率、以及用于所述電子設備的所述風扇的所述脈沖寬度調制PWM信號的所述占空比中的一個或多個。

3.如權利要求1所述的機器學習裝置，其中，所述占空比的增加或減少選自以下組：0、+2％、-2％、+5％、-5％、+9％和-9％。

4.如權利要求1所述的機器學習裝置，其中，所述瞬態模型模塊還被配置為當所述處理器的溫度落入預定目標范圍內時增加所述獎賞。

5.如權利要求1所述的機器學習裝置，其中，所述瞬態模型模塊還被配置為根據所述處理器的溫度與預定值之間的距離來確定獎賞，并且其中，所述距離是所述處理器的溫度減去所述預定值所得運算結果的絕對值。

6.如權利要求1所述的機器學習裝置，其中，所述瞬態模型模塊還被配置為根據所述處理器的溫度與預定范圍之間的距離來確定獎賞，所述預定范圍具有上端點和下端點，并且當所述處理器的溫度高于所述上端點時，所述距離是所述處理器的溫度減去所述上端點所得運算結果的絕對值，當所述處理器的溫度低于所述下端點時，所述距離是所述處理器的溫度減去所述下端點所得運算結果的絕對值。

7.如權利要求1所述的機器學習裝置，其中，所述瞬態模型模塊還被配置為當所述占空比的波動不超過預定范圍時增加所述獎賞。

8.如權利要求1所述的機器學習裝置，其中，所述瞬態模型模塊還被配置為通過以下來操作進行自我訓練：基于在預定時間內從環境和所述電子設備提取的數據組中隨機選擇的一個或多個變量的值來生成獎賞值并且輸出動作值。

9.如權利要求8所述的機器學習裝置，還包括重放存儲器，其被配置為預存儲所述數據組。

10.如權利要求1所述的機器學習裝置，其中，所述瞬態模型模塊還被配置為通過使用一組實驗數據輸入來進行自我訓練，以建立優化所述獎賞的所述熱控制策略，所述實驗數據輸入包括環境溫度、所述電子設備消耗的功率、所述處理器的溫度、以及用于所述電子設備的所述風扇的所述脈沖寬度調制PWM信號的占空比。