[發明專利]一種機器人動作的執行方法、裝置和存儲介質

有效

• 申請號: 202110339458.X
• 申請日: 2021-03-30
• 公開（公告）號: CN113119119B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 張春良;翁潤庭;王明;朱厚耀;王亞東;岳夏;吳偉聰
• 申請（專利權）人: 廣州大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;B25J19/02;G06V10/764;G06V10/25;G06V10/22;G06K9/62;G06N3/04;G06N3/08;G06V10/56;G06V20/10
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 黎揚鵬

1.一種機器人動作的執行方法，其特征在于，包括：

獲取機器人所在的第一位置以及障礙物的第二位置，并確定所述第一位置與所述第二位置之間的距離；

當所述距離大于等于切換閾值，所述機器人執行導航動作以向目標位置進行移動；

或者，

當所述距離小于切換閾值，根據所述第一位置和所述第二位置確定輸入狀態；

將所述輸入狀態輸入至避障網絡模型，得到避障動作；所述避障網絡模型具有值函數，所述避障動作使得所述值函數為最大值；

所述機器人執行所述避障動作以避開所述障礙物；

所述避障網絡模型通過以下步驟訓練所得：

獲取機器人的第一狀態；

根據所述第一狀態確定預設值函數；所述預設值函數表征所述第一狀態下執行預設動作的預期回報，所述預設值函數包括預期回報獎勵和網絡參數，所述預期回報獎勵根據在所述第一狀態下發生一次碰撞或者一次避障對應的即時獎勵確定；

根據預設探索率選取第一預設動作，并確定執行所述第一預設動作后所述機器人的第二狀態以及所述第二狀態對應的第一即時獎勵；

確定所述第二狀態對應的第一終止參數；所述第一終止參數表征終止狀態，所述終止狀態包括所述機器人完成一次碰撞或一次避障；

將所述第一狀態、所述第一預設動作、所述第一即時獎勵、所述第二狀態以及所述第一終止參數確定為第一集合加入至經驗回放池中；所述經驗回放池具有至少預設第一數量個第二集合，所述第二集合包括第三狀態、第二預設動作、第二即時獎勵、第四狀態以及第二終止參數；

從所述經驗回放池中確定所述預設第一數量個第三集合，從所述第三集合中隨機抽取一個所述第一集合或者所述第二集合，并根據抽取的所述第一集合或者所述第二集合中的所述第一終止參數或者所述第二終止參數是否為終止狀態進行目標值的更新；

根據預設損失函數以及更新后的目標值對所述網絡參數進行更新，并將所述第二狀態作為新的第一狀態；

當所述新的第一狀態對應的第一終止參數為終止狀態，完成一個循環，將所述新的第一狀態作為所述第一狀態，返回根據所述第一狀態確定預設值函數的步驟，直至完成預設循環次數的循環，記錄當前的網絡參數；

當所述新的第一狀態對應的第一終止參數不是終止狀態，返回所述從所述第三集合中隨機抽取一個所述第一集合或者所述第二集合的步驟，直至所述新的第一狀態對應的第一終止參數為終止狀態；

根據當前的網絡參數與所述預設值函數確定所述值函數，得到所述避障網絡模型。

2.根據權利要求1所述機器人動作的執行方法，其特征在于：所述確定所述第一位置與所述第二位置之間的距離，包括：

通過距離傳感器獲取所述第一位置與所述第二位置之間的所述距離；

或者，

通過全球定位系統確定所述第一位置與所述第二位置之間的所述距離。

3.根據權利要求1所述機器人動作的執行方法，其特征在于：所述當所述距離大于等于切換閾值，所述機器人執行導航動作以向目標位置進行移動，包括：

當所述距離大于等于切換閾值，確定所述機器人的執行動作為使得機器人與目標位置之間的夾角為零的動作；

將所述執行動作作為導航動作，所述機器人執行所述導航動作以向目標位置進行移動。

4.根據權利要求1所述機器人動作的執行方法，其特征在于：所述目標位置通過以下步驟確定：

獲取所述機器人周邊環境的圖像數據以及火焰傳感器的傳感器數據；

通過第一網絡對所述圖像數據進行特征提取，得到第一特征圖和第二特征圖；

將所述第一特征圖輸入第二網絡確定火焰的候選框；

將所述候選框映射至所述第二特征圖，并將映射后的所述第二特征圖輸入至所述第一網絡的感興趣區域池化層，得到特征向量；

將所述特征向量輸入至所述第一網絡的全連接層得到著火點概率；

根據所述著火點概率、著火點閾值以及所述傳感器數據，確定所述目標位置。

5.根據權利要求1所述機器人動作的執行方法，其特征在于：所述根據所述第一位置和所述第二位置確定輸入狀態，包括：

根據所述第一位置和所述第二位置確定所述機器人與所述障礙物之間的夾角；

根據所述夾角以及所述距離，確定所述輸入狀態。