[發明專利]基于仿生代理與視線追蹤興趣區域分析的人機交互方法

無效

• 申請號: 201110131915.2
• 申請日: 2011-05-20
• 公開（公告）號: CN102221881A
• 公開（公告）日: 2011-10-19
• 發明（設計）人: 毛峽;羅納
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

(一)技術領域：

本發明涉及一種人機交互方法，尤其是基于仿生代理與視線追蹤興趣區域分析的人機交互方法，屬于信息技術領域。

(二)背景技術：

人機交互主要研究人與計算機之間的信息交互。人機交互的模式已從語言命令交互階段、圖像用戶界面交互階段發展到自然、和諧的感性用戶界面交互階段。以人為中心、自然與高效成為發展新一代人機交互的主要目標。多模界面作為感性用戶界面的一種模式在國內外受到高度重視，是人機交互技術研究的嶄新領域。在多模界面中，用戶可使用語音、表情、眼神、手勢等自然的方式向計算機傳遞信息，然而計算機沒有面部和軀干，無法運用上述方式與人交流。目前的解決辦法是通過虛擬人實現人與計算機的自然交互。虛擬人是可以在計算機屏幕上活動的，具有面部和軀干，并能通過多種交流方式與人進行信息傳遞的虛擬人物。虛擬人可以將計算機發展成為栩栩如生的智能體，具有很強的表現力和親和感。人與人交流時傳遞的信息，除語言直接表達的語義信息外，還通過講話者的眼睛傳遞重要信息。因此，在基于仿生代理的人機交互系統中，仿生代理如果被賦予視線追蹤能力，便能針對人類的視覺焦點做出智能、靈敏、友好的反應。

視線跟蹤的目的是為了根據眼睛的特征和位置來計算用戶注視的方向，并把它作為一種可選或互補的計算機輸入通道，作為人機交互研究的一種分析工具。目前，國外許多大學和研究機構已開發出多種眼動追蹤系統，能實時分析眼動儀輸出的眼球運動數據。但此類系統主要面向殘疾人以實現眼球鼠標的功能或用于汽車駕駛員的疲勞分析等領域，而在用戶興趣區域分析方面的研究較少，并且沒有與仿生代理技術相結合。國內在該方面尚無完整的產品和解決方案。本發明的基于仿生代理與視線追蹤興趣區域分析的人機交互系統可廣泛應用于虛擬教學、虛擬購物以及醫療、體育、軍事、娛樂等領域，擁有較好的應用前景。

(三)發明內容：

本發明的目的在于提出一種基于仿生代理與視線追蹤興趣區域分析的人機交互方法，實現自然、和諧的人機交互。

本發明的技術方案可概括為：事件交互管理器通過實時分析眼動儀產生的數據，計算用戶眼球在屏幕上的焦點位置，完成用戶興趣區域分析，并將分析結果作為非接觸性指令控制人機交互界面上仿生代理的表情、動作和語音，對用戶進行智能反饋，實現自然、和諧的人機交互。

本發明一種基于仿生代理與視線追蹤興趣區域分析的人機交互方法，包括以下4個步驟：

步驟1：設計者進行用戶分析，根據用戶分析結果設定用戶可能關注的興趣區域；

步驟2：事件交互管理器實時接收分析眼動儀產生的數據，計算用戶眼球在屏幕上的焦點位置；

步驟3：事件交互管理器根據得到的用戶眼球在屏幕上的焦點位置，分析用戶關注的興趣區域；

步驟4：事件交互管理器將分析用戶關注的興趣區域結果作為非接觸性指令控制人機交互界面上仿生代理的表情、動作和語音，對用戶進行智能反饋，實現自然、和諧的人機交互。

其中，所述的步驟1中，設計者用戶分析的結果是對交互過程中用戶可能感興趣的區域進行劃分的依據，劃分出的興趣區域為后續的分析做準備。

其中，所述的步驟3中，事件交互管理器根據得到的用戶眼球在屏幕上的焦點位置，通過計算興趣區域的激活率分析用戶關注的興趣區域。興趣區域分析算法是事件交互管理器的核心。激活率I表示用戶對設定的某一區域感興趣的概率，當該值超過所設定的激活閾值時，該興趣區域將被激活，仿生代理將做出相應反應；當已經激活的興趣區域的激活率I低于所設定的減退閾值時，表示用戶對該區域的興趣減弱，則該興趣區域的激活狀態被抑制，同時依據其他區域的激活率I，一個新的激活區域將被選擇，仿生代理將做出相應反應。激活率I的定義如下式所示：

I=TaT]]>

上式中，T為所定義的時間窗，T_a為在時間窗T內用戶視線在設定的某一興趣區域的積累時間。

其中，所述的步驟4中，事件交互管理器根據正被激活的不同興趣區域，控制仿生代理產生相應的表情、動作和語音，仿生代理的表情、動作和語音根據不同的場景需求事先設定，使其能對用戶進行智能、友好的反饋，實現自然、和諧的人機交互。

本發明一種基于仿生代理與視線追蹤興趣區域分析的人機交互方法，其優點和積極效果在于：