[發明專利]用于控制器的方法和系統

在審

• 申請號: 202080097368.8
• 申請日: 2020-06-15
• 公開（公告）號: CN115485630A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 盧多維奇·多斯·桑托斯;默萬·巴里爾;巴拉茲·凱格爾;伊戈爾·科林
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G05B13/00
• 分類號: G05B13/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于工業控制系統中控制器的方法，其特征在于，所述方法包括：

訪問數據集中數據的第一子集，其中，所述第一子集包括多個元組，每個元組包括：

所述工業控制系統的第一狀態；

與所述控制器相關的操作，所述控制器與所述工業控制系統交互；

所述工業控制系統的第二狀態，所述第二狀態在所述第一狀態之后，是由于所述控制器執行所述操作而從所述第一狀態轉換的狀態；

考慮到由于所述工業控制系統轉換成所述第二狀態而生成的參數的參數值；

所述方法還包括：

對所述第一子集進行學習算法評估；

在驗證環境中評估由所述學習算法輸出的與所述控制器相關的操作；

根據所述評估結果確定優化所述參數的操作順序。

2.根據權利要求1所述的方法，其特征在于，所述驗證環境包括預測模型，所述預測模型根據所述工業控制系統的當前狀態和與所述控制器相關的操作生成后續狀態和所述參數值的估計值。

3.根據上述權利要求中任一項所述的方法，其特征在于，所述方法包括根據所述數據集中的數據的第二子集生成所述驗證環境，所述第二子集包括多個元組，每個元組包括：

所述工業控制系統的第一狀態；

與所述控制器相關的操作，所述控制器與所述工業控制系統交互；

所述工業控制系統的第二狀態，所述第二狀態在所述第一狀態之后，是由于所述控制器執行所述操作而從所述第一狀態轉換的狀態；

考慮到由于所述工業控制系統轉換成所述第二狀態而生成的所述參數的參數值。

4.根據權利要求2或3所述的方法，其特征在于，生成所述驗證環境包括：

訪問所述預測模型；

對于所述第二數據集中的所述多個元組中的每個元組，將根據對所述第一狀態和所述元組的操作進行預測模型評估而生成的第二狀態和參數值與所述元組的所述第二狀態和所述參數值相比較；

根據所述比較結果修改所述預測模型。

5.根據上述權利要求中任一項所述的方法，其特征在于，所述方法包括：

對所述控制器進行操作順序評估；

根據所述操作順序的應用，為所述數據集的所述第一子集和所述第二子集生成數據元組。

6.根據上述權利要求中任一項所述的方法，其特征在于，所述參數是根據來自所述工業控制系統的反饋生成的獎勵信號。

7.根據權利要求2至6中任一項所述的方法，其特征在于，所述預測模型是線性回歸函數、非線性預測函數、神經網絡、梯度提升機、隨機森林、支持向量機、最近鄰模型、高斯過程、貝葉斯回歸和/或集成。

8.根據上述權利要求中任一項所述的方法，其特征在于，所述學習算法是批處理強化學習算法。

9.根據上述權利要求中任一項所述的方法，其特征在于，所述工業控制系統是數據中心中的冷卻系統。

10.一種系統，其特征在于，包括：

至少一個處理器；

至少一個存儲器，包括程序代碼，當所述程序代碼由所述至少一個處理器執行時提供指令以：

訪問數據集中數據的第一子集，其中，所述第一子集包括多個元組，每個元組包括：

所述工業控制系統的第一狀態；

與控制器相關的操作，所述控制器與所述工業控制系統交互；

所述工業控制系統的第二狀態，所述第二狀態在所述第一狀態之后，是由于所述控制器執行所述操作而從所述第一狀態轉換的狀態；

考慮到由于所述工業控制系統轉換成所述第二狀態而生成的參數的參數值；

其中，所述程序代碼還包括指令以進行以下操作：

對所述第一子集進行學習算法評估；

在驗證環境中評估由所述學習算法輸出的與所述控制器相關的操作；

根據所述評估結果確定優化所述參數的操作順序。