[發明專利]用于控制器的方法和系統

在審

• 申請號: 202080097368.8
• 申請日: 2020-06-15
• 公開（公告）號: CN115485630A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 盧多維奇·多斯·桑托斯;默萬·巴里爾;巴拉茲·凱格爾;伊戈爾·科林
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G05B13/00
• 分類號: G05B13/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明描述了一種用于工業控制系統中控制器的方法。所述方法包括：訪問數據集中數據的第一子集，其中，所述第一子集包括多個元組，每個元組包括：所述工業控制系統的第一狀態；與所述控制器相關的操作，所述控制器與所述工業控制系統交互；所述工業控制系統的第二狀態，所述第二狀態在所述第一狀態之后，是由于所述控制器執行所述操作而從所述第一狀態轉換的狀態；考慮到由于所述工業控制系統轉換成所述第二狀態而生成的參數的參數值。所述方法還包括：對所述第一子集進行學習算法評估；在驗證環境中評估由所述學習算法輸出的與所述控制器相關的操作；根據所述評估結果確定優化所述參數的操作順序。

技術領域

本發明涉及一種用于工業控制系統的系統和方法。具體而言，本文描述的系統和方法確定工業控制系統中控制器的操作順序。

背景技術

比例-積分-微分(proportional-integral-derivative，PID)控制器廣泛部署在工業控制系統中。雖然有效，但這些控制回路機制通常是次優的，需要專業知識和時間來校準。

近年來，機器學習技術已經變得無處不在，應用程序存在于許多不同的技術領域中。強化學習是一種無監督學習方法，可用于優化包括代理執行的操作順序的模型。強化學習已經成功地應用于國際象棋和圍棋等棋盤游戲。在這些示例中，可以根據游戲中順序的在線性能測試操作順序的選擇。在某些設置中，在在線環境中測試和驗證模型的可能性要么有限，要么不可能。

發明內容

本發明的一個目的是提供一種用于確定工業控制系統中控制器的操作順序的方法。

上述和其它目的通過獨立權利要求的特征實現。進一步的實現方式在從屬權利要求、說明書和附圖中顯而易見。

根據第一方面，提供了一種用于工業控制系統中控制器的方法。所述方法包括：訪問數據集中數據的第一子集，其中，所述第一子集包括多個元組，每個元組包括：所述工業控制系統的第一狀態；與所述控制器相關的操作，所述控制器與所述工業控制系統交互；所述工業控制系統的第二狀態，所述第二狀態在所述第一狀態之后，是由于所述控制器執行所述操作而從所述第一狀態轉換的狀態；考慮到由于所述工業控制系統轉換成所述第二狀態而生成的參數的參數值。所述方法還包括：對所述第一子集進行學習算法評估；在驗證環境中評估由所述學習算法輸出的與所述控制器相關的操作；根據所述評估結果確定優化所述參數的操作順序。

根據所述第一方面的方法提供了一種根據對真實世界系統的行為建模的驗證環境中的評估來標識操作順序的方法。最佳順序根據其在所述驗證環境中的性能選擇。所述方法可以用于真實系統無法評估學習算法的輸出的情況。

根據第二方面，提供了一種系統。所述系統包括存儲器和通信地耦合到存儲器的處理器。所述存儲器包括程序代碼，當所述處理器執行所述程序代碼時提供指令以訪問數據集中數據的第一子集，其中，所述第一子集包括多個元組，每個元組包括：所述工業控制系統的第一狀態；與所述控制器相關的操作，所述控制器與所述工業控制系統交互；所述工業控制系統的第二狀態，所述第二狀態在所述第一狀態之后，是由于所述控制器執行所述操作而從所述第一狀態轉換的狀態；考慮到由于所述工業控制系統轉換成所述第二狀態而生成的參數的參數值。所述程序代碼還包括：對所述第一子集進行學習算法評估；在驗證環境中評估由所述學習算法輸出的與所述控制器相關的操作；根據所述評估結果確定優化所述參數的操作順序。

在第一種實現方式中，所述驗證環境包括預測模型，所述預測模型根據所述工業控制系統的當前狀態和與所述控制器相關的操作生成后續狀態和所述參數值的估計值。

在第二種實現方式中，所述方法包括：根據所述數據集中數據的第二子集生成所述驗證環境，其中，所述第二子集包括多個元組，每個元組包括：所述工業控制系統的第一狀態；與所述控制器相關的操作，所述控制器與所述工業控制系統交互；所述工業控制系統的第二狀態，所述第二狀態在所述第一狀態之后，是由于所述控制器執行所述操作而從所述第一狀態轉換的狀態；考慮到由于所述工業控制系統轉換成所述第二狀態而生成的參數的參數值。