[發明專利]一種機器人人機交互方法

有效

• 申請號: 202110206075.5
• 申請日: 2021-02-24
• 公開（公告）號: CN112873211B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 劉華平;陸升陽;張新鈺;袁小虎;趙懷林
• 申請（專利權）人: 清華大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;G01C21/00;G01S17/86;G01S17/89
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅文群

本發明屬于機器人主動視覺感知、語言交互、雷達避障以及深度學習技術領域，尤其涉及一種機器人人機交互方法。本方法拍攝環境的RGB圖像與深度圖，并探測障礙物信息獲取激光雷達數組，對獲取數據進行歸一化處理，構建人機交互中的問題編碼網絡將問題進行編碼；構建圖像特征提取網絡，將RGB圖像與深度圖像信息提取成為一個特征矩陣，將激光雷達數據、問題編碼和特征矩陣進行拼接得到特征融合矩陣；采用卷積網絡獲取數據融合矩陣作為周邊環境的數據融合矩陣；訓練一個循環神經網絡作為導航器，將數據融合矩陣作為輸入，輸出導航結果，控制機器人運動方向。本方法實現了機器人自我導航，自我探索，人機交互等功能，提升機器人的智能性。

技術領域

本發明屬于機器人主動視覺感知、語言交互、雷達避障以及深度學習技術領域，尤其涉及一種機器人人機交互方法。

背景技術

現如今，自主機器人可以在沒有人為干預的情況下，獨立操作完成特定的任務。作為自主機器人的一個主要的屬性——自主運動，主要取決于準確的運動估計和高層次的環境感知。但是，在某些情況下，人工地標是不可知的，或者機器人處于GPS缺失的環境中，這樣自我運動估計或獲取場景信息就遭遇很大的困難。技術上，移動機器人通過感知環境逐漸的構建一個與環境全局一致的地圖，與此同時借助此地圖實現自我定位。很長時間以來，機器人導航問題基本上是通過一系列距離傳感器來解決的，比如光線檢測和測距，紅外輻射，或聲納導航和測距，這些適用于小范圍靜態環境中(各種距離傳感器受限于他們獨自的物理屬性)。但是，在動態、復雜和大范圍環境下，機器人的建圖與導航可能面對很多挑戰。

基于視覺的無地圖導航問答系統由于其無需構建地圖，對環境的依賴程度較低并且可以進行人機交互而被廣泛研究。機器人在任意一個未知區域，通過被提問的問題而進行視覺導航，即通過對外圍環境的第一人稱感知實現自主無地圖導航，最終到達問題所關注的區域，經過探索環境區域而進行知識問答。科技工作者更是通過開發設計了大量3D仿真環境來模擬實現機器人基于視覺的無地圖導航知識問答系統，其中一個就是利用深度學習，通過大量數據以及多次試驗，訓練了一個端到端的網絡以實現未知環境的無地圖導航與問答。但是在現實環境中設計與實現基于視覺的無地圖導航問答系統并不多見，尤其是將激光雷達與視覺傳感器數據融合的無地圖導航問答系統的研究還未見到。

相機傳感器與激光雷達作為機器人與環境交互的主要兩個傳感器被廣泛應用于各種機器人上。相機傳感器是機器人感知外界環境的一個重要手段，現在被廣泛用于機器人地圖建立以及定位與導航。但是深度信息丟失限制了相機傳感器的更廣泛的應用，視覺信息的采集是通過三維到二維場景的投影變換與映射，在映射過程中深度信息會經常丟失，而且采用深度圖深度信息不準確，存在很多高斯噪聲。這導致了機器人在導航過程中無法獲取周圍環境的距離信息，從而引發碰撞，導航失敗等問題。激光雷達雖然速度較慢，無法感知周邊場景信息，但是它具有采集深度信息的能力，通過將激光雷達與視覺傳感器數據融合的方式，不僅可以實現兩者速度上的互補，場景感知能力上的互補，而且可以實現采集深度信息上的優勢互補。

近幾年來基于視覺感知環境中近年來由于深度學習的不斷發展，深度學習技術被廣泛用于視覺處理，語言交互，知識問答等領域。深度學習由于其提取特征能力強大，可拓展性強，學習能力強等優點被廣泛應用，而卷積神經網絡與循環神經網絡作深度學習中主要的網絡模型被廣泛用于計算機視覺以及機器人領域，如圖像特征提取，目標驅動導航，圖像融合等。盡管他們在計算機視覺與導航方面取得了巨大的成就，但是在視覺與激光雷達信息融合并進行無地圖導航方面并無很大的進展，利用上述信息進行導航并且知識問答方面的研究也很少。

發明內容

本發明的目的是提出一種機器人人機交互方法，打破傳統在仿真環境中實現基于視覺的無地圖導航知識問答系統的研究，將其應用到實際環境中，并且將相機傳感器與激光雷達數據相融合，實現無地圖導航與知識問答。

本發明提出的機器人人機交互方法，包括：