[發明專利]一種基于3D視線估計的遠近距離人機交互系統與方法

在審

• 申請號: 201610133124.6
• 申請日: 2016-03-09
• 公開（公告）號: CN105759973A
• 公開（公告）日: 2016-07-13
• 發明（設計）人: 姬艷麗;謝非;程洪
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

技術領域

本發明涉及一種基于3D視線估計的遠近距離人機交互系統與方法。

背景技術

人機交互(Human-RobotInteraction，HRI)是指人與機器人之間使用某種對話語言，以一定的交互方式，為完成確定任務的人與機器人之間的信息交換過程；隨著機器人漸漸進入人們的生活，新的人機交互技術正在逐漸呈現出來，目前人與機器人的交互大多需要許多輔助工具實現，如：通過在用戶身上裝備諸多傳感器，通過傳感器接受用戶動作信息，再傳遞給機器人，從而實現用戶與機器人交互；而隨著機器學習與計算機視覺等相關領域的發展，機器人可以對用戶的姿態、手勢、視線等進行識別；視線作為人們了解世界的最重要手段，其便利、自然的特性也使其成為了人機交互最有潛力的交互技術之一。

但是，在現有的人機交互系統中，大多并不能夠根據人與機器人的實際距離，采用不同的人機交互方法，來對機器人進行控制。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于3D視線估計的遠近距離人機交互系統與方法，根據人與機器人的實際距離，將人機交互分為遠、近距離兩種模式，來對機器人動作進行控制，提高人機交互的效果和穩定性。

本發明的目的是通過以下技術方案來實現的：一種基于3D視線估計的遠近距離人機交互系統，包括用戶選擇模塊、模式判斷模塊、視線估計模塊、頭部朝向估計模塊和機器人動作控制模塊；

所述的用戶選擇模塊用于選擇與機器人距離最近的用戶作為交互對象；

所述的模式判斷模塊用于根據交互對象與機器人之間的距離進行交互模式判斷：交互對象與機器人之間距離不大于l時，為近距離交互模式；當交互對象與機器人之間的距離大于l時，為遠距離交互模式；

所述的視線估計模塊用于在近距離交互模式下對交互對象的3D視線進行估計,并將估計結果作為機器人動作控制依據；

所述的頭部朝向估計模塊用于在遠距離交互模式下對交互對象進行頭部朝向估計，并將估計結果作為機器人動作控制依據；

所述的機器人動作控制模塊用于根據視線估計模塊或者頭部朝向估計模塊的估計結果，對機器人動作進行控制。

所述的距離l為1m。

一種基于3D視線估計的遠近距離人機交互方法，包括以下步驟：

S1.交互對象選擇：通過深度傳感器選擇距離機器人最近的用戶作為交互對象；

S2.交互模式判斷：獲取交互對象與機器人之間的當前距離d，對距離d進行去噪處理，得到處理后的距離值d′，根據d′的距離值進行模式判斷：

(1)如果d′≤l，則為近距離模式，跳轉至步驟S3進行交互對象的3D視線估計；

(2)如果d′＞l，則為遠距離模式，跳轉至步驟S4進行交互對象的頭部朝向估計；

進一步地，l一般為1m。

S3.進行3D視線估計，得到表征交互對象感興趣區域的用戶視線方向向量將其作為機器人動作控制的輸入向量，并跳轉至步驟S5；

S4.進行頭部朝向估計，得到表征交互對象感興趣區域的頭部朝向方向將其作為機器人動作控制的輸入向量，并跳轉至步驟S5；

S5.機器人動作控制，根據機器人動作控制的輸入向量控制機器人頭部轉向交互對象感興趣區域，并控制機器人眼球進行相應轉動。

所述的步驟S1包括以下子步驟：

S11.使用Kinect2深度傳感器檢測交互范圍內的所有用戶ID以及各個用戶的頭部中心坐標；

S12.通過Kinect2深度傳感器找出頭部中心坐標離傳感器Z方向距離最小的用戶ID，將該ID的用戶作為交互對象，并保持交互對象不變。

進一步地,如果交互對象離開了交互范圍,則按照步驟S11～S12重新選擇交互對象。

所述的步驟S2包括以下子步驟：

S21.使用Kinect2傳感器獲取交互對象與機器人的當前距離d；

S22.使用卡爾曼濾波操作對距離d進行去噪處理，得到距離值d′；正是由于用戶與機器人的距離d不穩定，會導致用戶處于1m距離附近存在模式異常切換問題，針對這一問題，本專利對距離d采用了卡爾曼濾波操作進行去噪，將處理后的距離值d′作為模式判斷依據；

S23.判斷距離值d′進行模式判斷：

(1)如果d′≤l，則為近距離模式，跳轉至步驟S3進行交互對象的3D視線估計；

(2)如果d′＞l，則為遠距離模式，跳轉至步驟S4進行交互對象的頭部朝向估計。

所述的步驟S3包括以下子步驟：

S31.進行瞳孔檢測，得到瞳孔中心：