[發明專利]基于人機協作的機器人感知與理解方法

有效

• 申請號: 201710429518.0
• 申請日: 2017-06-08
• 公開（公告）號: CN107150347B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 杜廣龍;張平;陳明軒
• 申請（專利權）人: 華南理工大學
• 主分類號: B25J11/00
• 分類號: B25J11/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍

本發明提供了基于人機協作的機器人感知與理解方法，它允許操作者協助機器人感知和理解環境。所述方法包括步驟：(1)視聽模態感知的自然交互；(2)目標描述和理解；(3)任務示教和學習。本發明利用人類的智能性，并通過人類最自然高效的交互方式進行人機交流與協助，以提高機器人感知和理解的靈活性、智能性和適應性。

技術領域

本發明屬于機器人運動領域，特別涉及一種基于人機協作的機器人感知與理解方法。

背景技術

隨著高端制造中生產多樣化的發展，人機協作將成為下一代機器人發展的趨勢。現有的機器人普遍存在示教周期長，難以理解抽象的命令以及缺乏在線感知能力，從而制約了機器人的發展。人機協作讓機器人從“主仆”關系變成合作“伙伴”。因此，在機器人還沒達到高度智能的局面下，最有效的方法是先感知和理解人類，再通過人類的協助感知和理解環境。這篇發明提出了一種基于人機協作的機器人感知與理解方法，一方面利用自然交互的信息感知與融合機制，通過“手把手”示教和“面對面”傳授等多模態感知方式提高機器人在線感知能力；另一方面利用面向人機協作的機器人自主學習方法，進行目標理解和任務學習。該發明利用人類的智能性，并通過人類最自然高效的交互方式進行人機交流與協助，以提高機器人感知和理解的靈活性、智能性和適應性。

發明內容

這個發明提出了一種基于人機協作的機器人感知與理解方法，它允許操作者協助機器人感知和理解環境。本發明利用人類的智能性，并通過人類最自然高效的交互方式進行人機交流與協助，以提高機器人感知和理解的靈活性、智能性和適應性。

本發明包括如下步驟：

S1、視聽模態感知的自然交互；

S2、目標描述和理解；

S3、任務示教和學習。

所述步驟S1包括以下步驟：

1)三維手勢數據獲取

本發明采用立體視覺或紅外成像等非接觸測量方式對人體進行跟蹤識別，并對人手的三維手勢進行捕捉，從而可以識別操作者的交互意圖并轉換成交互指令。在進行非接觸測量系統所獲取的三維手勢數據中，帶噪聲的三維手勢數據具有不穩定性、歧義性和模糊性。此外，操作者在交互過程中由于人為因素會出現肌肉抖動等非意圖動作導致交互指令具有非精確性。為了進一步地提高數據的穩定性和精確性，一方面，本發明采用結合自適應區間卡爾曼濾波(Adaptive Interval Kalman Filter)與改進粒子濾波(ImprovedParticle filter)進行手勢位置數據和姿態數據的融合估計。通過信息融合算法可以對位置和姿態的時空相關性進行約束，從而盡可能地消除三維手勢數據的非穩定性和歧義性。另一方面，本發明采用過阻尼方法對非意圖輸入數據進行過濾，并通過引入虛擬彈簧系數進一步提高交互精度。

粒子濾波基于蒙特卡洛方法，利用粒子集表示目標，通過尋找一組在狀態空間中傳播的隨機樣本來近似地表示概率密度函數，用樣本均值代替積分運算，進而獲得系統狀態的最小方差估計的過程。在改進粒子濾波(IPF)算法中，采用馬爾可夫鏈蒙特卡羅方法對重采樣后的粒子進行處理，從而提高粒子的多樣化，避免標準粒子濾波的局部收斂現象，提高數據估計的準確度。而粒子的權重計算需要通過結合卡爾曼濾波的位置估計結果得到。

由于三維手勢數據的位置和姿態在時空上存在一定的關聯：手勢的位置，速度和加速度具有方向性，而方向則需要姿態所確定的本體坐標系進行計算得到，那么手勢的位置在三維方向上的疊加量需要姿態進行估計，故通過結合自適應區間卡爾曼濾波估計得到位置和姿態的時空約束性可以提高數據估計的精度。由于準確的位置數據可以更好地計算粒子的權重，從而得到準確的姿態數據，而準確的姿態數據可以通過速度和加速度更好地估計位置數據，故通過結合自適應區間卡爾曼濾波和改進粒子濾波對人手位置和姿態數據進行融合，可以更好地估計三維手勢數據，提高數據的準確性和魯棒性。

2)自然語言指令獲取