[發明專利]一種移動機器人視聽覺融合感知與導航方法

在審

• 申請號: 202211614647.4
• 申請日: 2022-12-15
• 公開（公告）號: CN116380061A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 李嘉茂;朱冬晨;劉衍青;王文浩;王磊;張曉林
• 申請（專利權）人: 中國科學院上海微系統與信息技術研究所
• 主分類號: G01C21/20
• 分類號: G01C21/20;G01C21/00;G06V40/10;G06N3/08;G06N3/0464
• 代理公司: 上海泰博知識產權代理有限公司 31451
• 代理人: 錢文斌

1.一種移動機器人視聽覺融合感知與導航方法，其特征在于，包括以下步驟；

對移動機器人的視覺傳感器系統與聽覺傳感器系統進行參數標定；

利用視覺傳感器系統和標定的參數構建導航柵格地圖；

使用視覺傳感器系統獲取交互對象的視頻序列，并基于三維卷積和長短期記憶網絡的手勢識別方法，利用注意力機制和多尺度特征融合，實現以所述視頻序列為輸入的端到端手勢行為識別；

從所述視頻序列中提取出感興趣的目標對象并進行跟蹤，并利用聽覺傳感器系統和視覺傳感器系統得到具有顯著性的目標對象的序列。

2.根據權利要求1所述的移動機器人視聽覺融合感知與導航方法，其特征在于，所述對移動機器人的視覺傳感器系統與聽覺傳感器系統進行參數標定，包括：

使用標定板對視覺傳感器系統進行內參和外參的標定及校正；

將發聲單元放置在所述標定板附近的某一位置，使得所述發聲單元能夠測量與所述標定板的位置關系；

發聲單元喚醒聽覺傳感器系統得到發聲單元發聲角度后，根據視覺傳感器系統的內參、視覺傳感器系統與標定板的外參關系，得到聽覺傳感器系統與視覺傳感器系統的外參關系。

3.根據權利要求1所述的移動機器人視聽覺融合感知與導航方法，其特征在于，所述利用視覺傳感器系統和標定的參數構建導航柵格地圖，包括：

使用視覺傳感器系統獲取場景的深度信息；

根據深度信息使用視覺立體匹配技術獲取視覺傳感器系統的視差圖，并結合視覺傳感器系統的內參和外參構建深度圖像，并根據深度圖像得到單幀的三維點云圖；

使用視覺SLAM技術進行移動機器人的位姿參數計算，根據深度圖像和移動機器人的位姿參數進行連續幀三維點云的拼接與融合，并在移動過程中構建起場景的三維點云地圖，通過設置最大障礙物高度信息建立起導航柵格地圖。

4.根據權利要求3所述的移動機器人視聽覺融合感知與導航方法，其特征在于，在建立起導航柵格地圖后還包括，根據預定義的目標函數進行無干預的自主環境感知與地圖構建，通過視覺傳感器系統采集的原圖和場景的三維點云地圖進行環境要素地圖的構建。

5.根據權利要求1所述的移動機器人視聽覺融合感知與導航方法，其特征在于，所述端到端手勢行為識別，具體為：通過三維卷積神經網絡學習手勢的短時空特征，基于提取的短時空特征通過卷積LSTM網絡學習手勢的長時空特征，以挖掘輸入的視頻序列中幀與幀之間隱含的手勢運動軌跡和姿態變換信息。

6.根據權利要求1所述的移動機器人視聽覺融合感知與導航方法，其特征在于，所述從所述視頻序列中提取出感興趣的目標對象并進行跟蹤，并利用聽覺傳感器系統和視覺傳感器系統得到具有顯著性的目標對象的序列，包括：

采用多目標檢測和追蹤方法從視頻序列中提取出感興趣的目標對象并跟蹤；

利用聽覺傳感器系統的聲源定位方法和視覺傳感器系統的的視線方向檢測方法分別對目標對象進行顯著性程度分配；

將聽覺傳感器系統得到的目標對象顯著性結果和視覺傳感器系統得到的目標對象顯著性結果進行融合，得到最終的具有顯著性的目標對象序列。

7.根據權利要求6所述的移動機器人視聽覺融合感知與導航方法，其特征在于，在進行融合時，當視覺傳感器系統推斷的移動機器人與目標對象的夾角與聽覺傳感器系統推斷的移動機器人與目標對象的夾角的差值超過閾值時，則以視覺傳感器系統推斷的目標對象為主，重新進行目標對象的選擇與判定，并放棄此次交互任務的執行。