[發明專利]智能體的避障方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202011379631.0
• 申請日: 2020-11-30
• 公開（公告）號: CN112316436A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 武建芳;張弛;楊木;郭仁杰;王宇舟;楊正云;楊少杰;李宏亮;劉永升
• 申請（專利權）人: 超參數科技（深圳）有限公司
• 主分類號: A63F13/67
• 分類號: A63F13/67;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 黃晶晶

1.一種智能體的避障方法，其特征在于，所述方法包括：

獲取智能體所處的三維場景中的環境特征；所述環境特征，用于表征所述三維場景中對應于所述智能體的障礙物的信息；

獲取所述智能體在所述三維場景中的歷史動力學特征；

根據所述環境特征和所述智能體的所述歷史動力學特征，預測所述障礙物在所述三維場景中當前位置處的待執行的動作；

在所述三維場景中，控制所述智能體在所述當前位置上執行預測的所述動作，以避開所述障礙物。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

根據所述環境特征和所述智能體的所述歷史動力學特征中的至少一種，確定待屏蔽的動作；

對動作空間中所述待屏蔽的動作進行屏蔽處理；

所述根據所述環境特征和所述智能體的所述歷史動力學特征，預測所述障礙物在所述三維場景中當前位置處的待執行的動作包括：

根據所述環境特征和所述智能體的所述歷史動力學特征，從屏蔽處理后的所述動作空間中，預測所述障礙物在所述三維場景中當前位置處的待執行的動作。

3.根據權利要求2所述的方法，其特征在于，所述根據所述環境特征和所述智能體的所述歷史動力學特征中的至少一種，確定待屏蔽的動作包括：

根據所述環境特征，確定所述障礙物與所述智能體之間的相對位置關系、以及所述障礙物自身的特征信息中的至少一種；

根據所述相對位置關系和所述障礙物自身的特征信息中的至少一種，確定待屏蔽的動作。

4.根據權利要求2所述的方法，其特征在于，所述三維場景為三維虛擬場景；所述歷史動力學特征，包括所述智能體在所述三維虛擬場景的歷史幀中執行的歷史動作、以及所述歷史動作的執行結果；

所述根據所述環境特征和所述智能體的所述歷史動力學特征中的至少一種，確定待屏蔽的動作包括：

根據前預設數量的歷史幀的歷史動作的執行結果，確定所述歷史動作中執行失敗的動作；

將所述執行失敗的動作，確定為待屏蔽的動作。

5.根據權利要求4所述的方法，其特征在于，所述預設數量為多個；所述對動作空間中所述待屏蔽的動作進行屏蔽處理包括：

確定各所述待屏蔽的動作所對應的歷史幀與當前幀之間的時序距離；

根據所述待屏蔽的動作的所述時序距離，為各所述待屏蔽的動作分配屏蔽概率；所述屏蔽概率與所述時序距離成負相關；

按照所述待屏蔽的動作對應的所述屏蔽概率，對動作空間中所述待屏蔽的動作進行屏蔽處理。

6.根據權利要求1所述的方法，其特征在于，所述障礙物在所述三維場景中當前位置處的待執行的動作是通過預先訓練的避障模型預測的；所述避障模型的訓練步驟包括：

在模型訓練過程中，獲取所述智能體所處的三維場景中的環境樣本特征；

獲取所述智能體在所述三維場景中的歷史動力學樣本特征；

將所述環境樣本特征和所述智能體的所述歷史動力學樣本特征，輸入至待訓練的避障模型中，以根據歷史累積的獎勵情況，預測所述障礙物在所述三維場景中當前位置處的待執行的動作；

在所述三維場景中，控制所述智能體在所述當前位置上執行預測的所述動作；

在執行完預測的所述動作后，根據執行完預測的所述動作后的結果信息，對所述避障模型進行獎勵；

返回執行所述在模型訓練過程中，獲取所述智能體所處的三維場景中的環境樣本特征及后續步驟，以優化所述避障模型。