[發明專利]一種基于因果注意力的室內視覺導航方法

在審

• 申請號: 202211273306.5
• 申請日: 2022-10-18
• 公開（公告）號: CN115512214A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 羅光春;朱大勇;戴瑞婷;董強;張清揚;張晨曦
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V20/00
• 分類號: G06V20/00;G06V10/22;G06V10/762;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G01C21/20
• 代理公司: 成都希盛知識產權代理有限公司 51226
• 代理人: 陳澤斌

1.一種基于因果注意力的室內視覺導航方法，其特征在于，包括以下步驟：

A、數據準備

獲取室內視覺圖像數據集，所述室內視覺圖像數據集包括一組導航軌跡數據，各導航軌跡數據分別包括由位置序列構成的導航軌跡以及導航軌跡上各位置處的視覺圖像序列，各視覺圖像序列分別包括在對應位置處各個觀測方向的圖像；

并基于導航軌跡數據，構建到達終點前導航軌跡各位置處的導航方向對應圖像所構成的導航圖像序列，所述導航方向對應圖像為從對應位置的視覺圖像序列中，按對應位置到達導航軌跡下一位置的方向所確定的圖像；然后，對所有導航軌跡數據的導航圖像序列，進行視覺特征提取并聚類，獲得聚類中心；

B、通過室內視覺導航模型執行室內視覺導航任務：

B1、以導航起點位置作為初始的當前位置，并隨機初始化歷史狀態特征；

B2、觀測當前位置的各個觀測方向，獲得當前位置的視覺圖像序列，提取當前位置視覺圖像序列中各圖像的視覺特征，并編碼獲得各觀測方向的位置特征，并根據各圖像的視覺特征與各聚類中心的距離，獲得各圖像的全局特征；

B3、將歷史狀態特征分別融入當前位置視覺圖像序列中各圖像的視覺特征，獲得其各圖像的視覺圖像特征；

融合各圖像的視覺圖像特征及其位置特征，并通過自注意力機制，計算當前位置視覺圖像序列各圖像的自注意力特征；

融合各圖像的視覺圖像特征和位置特征，構建查詢向量；根據各圖像的全局特征，構建鍵向量和值向量，然后，基于構建的查詢向量、鍵向量和值向量，通過因果注意力機制，計算當前位置視覺圖像序列各圖像的因果注意力特征；

然后，融合各圖像的自注意力特征及其因果注意力特征，獲得當前位置視覺圖像序列各圖像的視覺環境狀態特征；

B4、根據預設的可導航方向，計算當前位置視覺圖像序列中可導航方向的圖像的視覺特征與其對應視覺環境狀態特征之間的相關性，根據相關性預測當前位置的導航動作；

B5、根據當前位置的導航動作確定導航的下一位置，判定是否到達終點或者是否達到預設的最大導航步數，若是，則結束導航，否則，執行步驟B6；

B6、根據步驟B3獲得的當前位置的視覺環境狀態特征，以及步驟B4預測的當前位置的導航動作，更新歷史狀態特征；將當前位置導航動作確定的下一位置以及更新后的歷史狀態特征作為輸入，返回步驟B2。

2.如權利要求1所述的一種基于因果注意力的室內視覺導航方法，其特征在于，按如下步驟訓練室內視覺導航模型：

C1、以室內視覺圖像數據集作為訓練數據集并計算獲得聚類中心；

C2、從訓練數據集提取一條導航軌跡數據，將其全部或部分作為本輪訓練的導航軌跡數據；

C3、從輸入的導航軌跡數據中，提取其起點的視覺圖像序列，作為初始輸入的視覺圖像序列，并隨機初始化歷史狀態特征；

C4、以輸入視覺圖像序列對應位置作為當前位置，提取當前位置視覺圖像序列中各圖像的視覺特征，并編碼獲得各觀測方向的位置特征，并根據各圖像的視覺特征與各聚類中心的距離，獲得各圖像的全局特征；

C5、將歷史狀態特征分別融入當前位置視覺圖像序列中各圖像的視覺特征，獲得其各圖像的視覺圖像特征；然后，計算當前位置的自注意力特征和因果注意力特征，并融合自注意力特征及其因果注意力特征，獲得視覺環境狀態特征；

C6、根據預設的可導航方向，計算當前位置視覺圖像序列中可導航方向的圖像的視覺特征與其對應視覺環境狀態特征之間的相關性，根據相關性預測當前位置的導航動作；

C7、判定是否到達輸入導航軌跡數據的終點，若是，則執行步驟C9，否則執行步驟C8；

C8、根據步驟C5獲得的當前位置的視覺環境狀態特征，以及步驟C6預測的當前位置的導航動作，更新歷史狀態特征；從導航軌跡數據中，提取導航軌跡下一位置的視覺圖像序列，并將該視覺圖像序列以及更新后的歷史狀態特征作為輸入，返回步驟C4；

C9、根據各位置處預設的專家導航動作和預測的導航動作，計算其損失，并根據累計損失對室內視覺導航模型的參數進行更新；

C10、重復步驟C2-C9進行迭代訓練，直至滿足訓練終止條件，獲得訓練好的室內視覺導航模型。