[發明專利]用于控制機器人的方法和設備

在審

• 申請號: 202110181323.5
• 申請日: 2021-02-10
• 公開（公告）號: CN113341945A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: C-N·施特雷勒;S·J·艾特薩米
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 任一方;周學斌

用于控制機器人的方法和設備。根據各種實施例，描述了一種用于控制機器人的方法，所述方法包括：獲取表示機器人環境的傳感器數據；根據傳感器數據標識機器人環境中的一個或多個對象；將所述一個或多個對象中的每一個和機器人與多智能體系統的相應智能體相關聯；為多智能體系統的每個智能體確定質量度量，所述質量度量包括針對一位置處的移動動作的獎勵項和取決于其他智能體在一時間處占用與所述智能體相同位置的概率的耦合項；確定機器人的移動策略，所述移動策略以比具有為機器人確定的質量度量的較低值的移動動作更高的概率選擇具有質量度量的較高值的移動動作；以及根據移動策略控制機器人。

本公開涉及用于控制機器人的設備和方法。

多智能體學習是機器學習中的一個具有挑戰性的問題，其在諸如分布式控制、機器人學（包括自主駕駛）和經濟學之類的不同領域中具有應用。在許多多智能體系統中，智能體不一定針對其他智能體選擇其最優戰略。例如，自主車輛將不突然取代人類控制的車輛，并且將不在單獨的路線上與人類控制的交通隔離。因此，自主車輛將不得不在具有人類控制的其他對象的混合交通中安全移動，由此這些外部對象也包括行人作為較弱的道路使用者。在人類控制的外部對象的情況下，至于這些其他對象接下來將執行哪個移動動作存在不確定性。

公開DE 10 2018 210 280 A1描述了一種用于特別是在具有人類控制的其他對象的混合交通中的自主車輛的軌跡規劃方法。在該方法中，為每個其他對象建立Q函數，并通過最大化該Q函數為自主車輛和其他對象確定最優移動策略。根據最優移動策略，確定其他對象的軌跡以及自主車輛的軌跡。

然而，該方法具有指數級的運行時間和內存要求。該方法的內存要求是T ×A ×P ×S^P，其中S為狀態數量，P為玩家數量，A標示動作數量，并且T為時間跨度（時間步長數量）。因此，該方法可以應用于具有少量玩家的小狀態和動作空間，但是20個狀態和4個玩家以及5個時間步長的多智能體游戲的計算時間可能容易超過三天的計算時間。

因此，用于在多智能體場景中確定軌跡的更高效的方法是合期望的。

具有獨立權利要求1（對應于下面給出的第一示例）和獨立權利要求7的特征的用于控制機器人的方法和機器人控制器提供了比上述方法更高效的用于軌跡規劃的方法。由于智能體之間的交互僅通過包括占用度量的耦合項來建模，因此可以降低計算復雜度和內存。特別是，可以避免起因于將每個智能體的行為建模為在所有智能體的狀態的乘積空間之上的Q函數所致的指數級的內存和運行時間要求。例如，對于20個狀態和4個玩家和5個時間步長的多智能體游戲，計算時間可以降低到1秒，并且從而使該方法在實踐中可使用。

在下文中，給出了示例性實施例。

示例1是一種用于控制機器人的方法，所述方法包括：獲取表示機器人環境的傳感器數據；根據傳感器數據標識機器人環境中的一個或多個對象；將所述一個或多個對象中的每一個和機器人與多智能體系統的相應智能體相關聯；為多智能體系統的每個智能體確定質量度量，所述質量度量包括針對一位置處的移動動作的獎勵項和取決于其他智能體在一時間處占用與所述智能體相同位置的概率的耦合項；確定機器人的移動策略，所述移動策略以比具有為機器人確定的質量度量的較低值的移動動作更高的概率選擇具有質量度量的較高值的移動動作；以及根據移動策略控制機器人。

示例2是根據示例1的方法，其中耦合項是其他智能體的占用度量的泛函，其中，對于每個智能體，位置和時間的占用度量標示智能體在所述時間處于所述位置中的可能性。

各種智能體的質量度量經由占用度量的耦合允許高效地解決多智能體強化學習問題并導出用于機器人的控制策略。

示例3是根據示例1或2的方法，其中確定質量度量包括在多次迭代中迭代地確定質量度量，其中每次迭代包括在多個時間步長之上從初始時間到結束時間的前向傳遞和在多個時間步長之上從結束時間到初始時間的后向傳遞。