[發明專利]利用第一原則和約束進行有效、連續和安全學習的系統和方法

在審

• 申請號: 201980068079.2
• 申請日: 2019-04-23
• 公開（公告）號: CN113015981A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 劉立峰;朱穎璇;張軍;殷曉田;李劍;陶永祥;梁達堯
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G05B13/04
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 鈔朝燕;王君

1.一種用于控制系統的自學習的計算機實現的方法，所述方法包括：

創建初始知識庫；

使用所述知識庫學習第一原則；

創建從所述知識庫導出的初始控制命令；

生成用于所述控制命令的約束；

通過執行具有所述約束的所述控制命令并觀察反饋，執行約束強化學習以改善所述控制命令；以及

基于所述反饋來豐富所述知識庫。

2.根據權利要求1所述的方法，其中創建從所述知識庫導出的初始控制命令包括：

通過所述知識庫中的數據挖掘，建立系統動力學和運動學參數與控制參數之間的關系，其中，所述動力學和運動學參數是使用簡化的動力學和運動學公式來計算的；以及

基于所述動力學和運動學參數，生成所述初始控制命令。

3.根據權利要求1所述的方法，其中創建從所述知識庫導出的初始控制命令包括：

根據當前狀態和目標狀態，將初始控制命令細分為所述初始控制命令的各個組成部分；

為所述初始控制命令的各個組成部分創建相應的查詢項；

從所述知識庫中為每個查詢項檢索對應的查詢結果；以及

組合多個查詢結果以生成所述初始控制命令。

4.根據權利要求3所述的方法，其中，所述多個查詢結果是根據分配給所述初始控制命令的各個組成部分的相應權重來組合的。

5.根據權利要求1至4中的任一項所述的方法，其中，用于所述控制命令的約束包括規定不能被逾越的條件的硬約束。

6.根據權利要求1至5中的任一項所述的方法，其中，用于所述控制命令的約束包括指定優選條件的軟約束。

7.根據權利要求1至6中的任一項所述的方法，其中，生成用于所述控制命令的約束包括：

基于操作環境的狀態生成約束項的第一子集；

基于主機的狀態和目標狀態，生成用于一組過濾的移動物體的約束項的第二子集；

生成用于一組過濾的固定障礙物的約束項的第三子集；以及

組合所述約束項的第一子集、所述約束項的第二子集以及所述約束項的第三子集。

8.根據權利要求1至7中的任一項所述的方法，其中，執行所述約束強化學習以改善所述控制命令包括：

將所述控制命令分解為多個類別和維度，以便分別學習每個類別和維度中的控制命令；

基于所述初始控制命令，生成控制命令候選；

將所述約束應用于所述控制命令候選；以及

如果狀態已被學習，則基于過去的經驗來完善所述控制命令，否則，

使學習的狀態的結果適應新環境。

9.根據權利要求1至8中的任一項所述的方法，其中，基于所述反饋來豐富所述知識庫包括：完善所述知識庫的動力學和運動學模型的表現。

10.一種系統，包括：

存儲器存儲單元，包括指令；以及

與所述存儲器存儲單元通信的一個或多個處理器，其中所述一個或多個處理器執行所述指令以：

創建初始知識庫；

使用所述知識庫學習第一原則；

創建從所述知識庫導出的初始控制命令；

生成用于所述控制命令的約束；

通過執行具有所述約束的所述控制命令并觀察反饋，執行約束強化學習以改善所述控制命令；以及

基于所述反饋來豐富所述知識庫。

11.根據權利要求10所述的系統，其中創建從所述知識庫導出的初始控制命令包括：

通過所述知識庫中的數據挖掘，建立系統動力學和運動學參數與控制參數之間的關系，其中，所述動力學和運動學參數是使用簡化的動力學和運動學公式來計算的；以及

基于所述動力學和運動學參數，生成所述初始控制命令。