[發明專利]系統動力學全局穩定建模的動力學模型

在審

• 申請號: 202010771556.6
• 申請日: 2020-08-04
• 公開（公告）號: CN112327612A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: G·馬內克;J·Z·科特勒;J·維諾格拉德斯卡
• 申請（專利權）人: 羅伯特·博世有限公司;卡內基梅隆大學
• 主分類號: G05B13/04
• 分類號: G05B13/04;G05B13/02;G06N3/04;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張凌苗;劉春元

系統動力學全局穩定建模的動力學模型。提供了一種用于訓練動力學模型以學習物理系統的動力學的系統和計算機實現的方法。特別地，可以學習動力學模型，以能夠基于物理系統和/或其環境的當前狀態來推斷物理系統和/或其環境的未來狀態。學習動力學模型固有地是全局穩定的。也就是說，代替于學習動力學模型并且試圖單獨地驗證其穩定性，可學習的動力學模型包括可學習的李雅普諾夫函數，其與物理系統的標稱動力學一起被聯合地學習。因此，學習動力學模型高度適合于現實生活應用，在現實生活應用中，由于學習動力學模型固有地是全局穩定的，因此物理系統可以假定在訓練期間未被看見的狀態。

技術領域

本發明涉及用于訓練動力學模型以學習物理系統的動力學的機器學習系統和計算機實現的方法。本發明進一步涉及訓練的動力學模型。本發明進一步涉及用于使用物理系統的動力學的機器學習建模來控制或監視物理系統的控制或監視系統和計算機實現的方法。本發明進一步涉及包括用于執行計算機實現的方法中的一個的指令的計算機可讀介質。

背景技術

在許多現實生活應用中，學習物理系統的動力學模型是合期望的。當物理系統僅能作為高度非結構化的環境——例如作為來自視頻相機的幀，而不是作為角度、角速度等的物理相關量——來觀察時，這可能是尤其合期望的。在這樣的示例中，神經網絡是用于學習從物理系統的系統動力學的觀察空間到潛在的、物理上有意義的低維空間的變換的有前途的方案，并且也可以被稱為機器學習的動力學模型。

這樣的現實生活應用的示例是電子部件的制造，其中兩個部分可能需要通過首先將銅導線接合到一個部件、然后將導線彎曲就位以及最后將銅導線接合到第二個部件來連接。導線的彎曲可以由機器人臂來執行。為了使該過程適應于各個部件，彎曲過程不能被硬編碼，但優選地基于傳感器輸入來學習。典型地，測量系統的物理相關低維狀態（例如，角度、角速度、關節位置……）的傳感器不能添加到生產系統（如果生產系統已經就位），因為它們必須內置到機器本身中。相比之下，向制造站添加外部傳感器（如例如相機系統）可能是相當明確的。該視頻數據，該相機系統可以用來學習銅導線的彎曲過程。

不利的是，使用神經網絡從視頻數據中學習機器人臂的動力學是非常困難的，因為機器人臂的特性長期行為、例如在某些平衡點處的穩定性典型地不能被自動構建到神經網絡中。這相同適用于從物理系統的觀察狀態對其他類型的物理系統的動力學進行建模，所述其他類型的物理系統包括但不限于機器人、車輛、建筑物、家用器具、電動工具、制造機器等。

也就是說，當使用通用的神經網絡對物理系統的動力學進行建模時，關于經學習的神經網絡的行為幾乎不能得到保證。例如，確定經學習的神經網絡的穩定性性質是困難的。這已經導致需要極大的數據集合來訓練這樣的神經網絡，以便確保神經網絡的學習動力學具有正確的長期行為。

雖然一些最近的工作[1]、[2]、[3]已經開始考慮神經網絡的穩定性性質，但是它已經典型地通過“溫和地”實施穩定性作為訓練數據上的附加損失項來這樣做。因此，這樣的方案幾乎不能說明對于未見狀態的經學習的神經網絡的穩定性，所述未見狀態指代在訓練期間沒有被“看見”的物理系統的狀態。不利的是，這樣的方案不最佳地適合于其中可能出現此類未見狀態的現實生活應用。

參考文獻

[1]Yinlam Chow, Ofir Nachum, Edgar Duenez-Guzman和Mohammad Ghavamzadeh. A lyapunov-based approach to safe reinforcement learning. NIPS 2018, https://arxiv.org/abs/1805.07708