[發明專利]基于仿生代理的多模交互界面描述方法

無效

• 申請號: 200710176411.6
• 申請日: 2007-10-26
• 公開（公告）號: CN101174218A
• 公開（公告）日: 2008-05-07
• 發明（設計）人: 毛峽;李崢;薛雨麗
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06K9/00
• 代理公司: 北京慧泉知識產權代理有限公司
• 代理人: 王順榮;唐愛華

(一)技術領域：

本發明涉及一種基于仿生代理的多模交互界面描述方法，尤其是多模交互標記語言(Multi-model?Interaction?Markup?Language)和仿生代理感知模塊的設計實現，屬于信息技術領域。

(二)背景技術：

人機交互已從語言命令階段(CUI)、圖像用戶界面(GUI)交互階段發展到自然和諧的感性用戶界面(PUI)交互階段。多模界面是感性用戶界面研究的嶄新領域。在多模界面中，用戶可以使用自然的交互方式，如語音、手勢、眼神和表情等與計算機交互進行協同工作。然而計算機沒有臉和身體，無法運用上述的交互方式。因此具有多模表現能力的仿生代理受到了越來越多研究者的關注。利用具有語言會話等多種表現能力的交互式仿生代理的多模表現成為一種有效的人機交互方法。情感在人類決策、感知、學習以及其它一些類似的行為中發揮著重要作用，越來越多的研究者意識到要想真正實現人與仿生代理之間的和諧感性交互，就要將情感因素融入其中。情感能夠提供仿生代理所需的自主性，并且是智能的最終來源，也就是說仿生代理應該具有像人類一樣識別情感和表達情感的能力。這種基于仿生代理的多模界面很難編碼，因為要描述仿生代理的動作、語音、情感表達以及情感識別能力是相當復雜的。為了解決這個問題，國外的一些大學和研究機構開發了用于描述仿生代理行為的語言。但現存的描述語言只能簡單的描述仿生代理的動作、語音和情感表達能力，并不能描述情感識別能力。也就是說，現存的語言只能控制仿生代理的被動表現，即根據預先設定的內容進行動作、語音和情感的表達，而沒有實現對用戶情感的主動感知。因此，設計一種基于仿生代理的多模交互界面描述語言，實現對仿生代理感知能力的描述對情感化人機交互的發展具有重要意義。

(三)發明內容：

本發明的目的是：①針對目前國內在仿生代理描述語言領域的空白及目前國外的仿生代理描述語言只能描述仿生代理的動作、語音和情感表達能力，設計開發了一種基于可擴展標記語言(Extensible?Markup?Language)的能夠描述仿生代理感知能力的多模交互標記語言(Multi-model?Interaction?Markup?Language)，真正實現了仿生代理與用戶的情感交互。通過多模交互界面生成軟件屏蔽了底層代碼，能夠使普通用戶(非專業程序員)輕松的開發出基于183-203)，其通過調用仿生代理模塊中的函數實現了對仿生代理動作、語音及情感表達的控制。右邊perception方框及所包含部分為本發明設計實現的感知模塊，實現了對仿生代理情感識別能力的描述。圖4所示為該部分的DTD定義。<perception>為感知模塊的根元素；<emotionrecognition>為情感識別模塊的根元素；<face>用來調用表情識別控件，此元素的align屬性確定控件在背景網頁中的位置；<recognize>元素將比較表情識別控件所返回的結果與其屬性result的值，根據不同的結果執行不同的操作；<speech>與<text>為定義的備用元素，用來實現情感語音識別控件與文本情感提取控件的擴展。

步驟2：根據所定義的元素及屬性編寫多模交互標記語言代碼；

步驟3：對所編寫的多模交互標記語言代碼進行有效性驗證；

步驟4：對經過有效性驗證的代碼進行解析轉換。采用微軟MSXML.DLL動態鏈接庫中提供的XML簡單接口SAX(Simple?APIs?for?XML)實現對多模交互標記語言代碼的解析，同時按照規則實現多模交互標記語言代碼到Vbscript代碼的轉換；

步驟5：將轉換的Vbscript代碼嵌入相應的網頁背景中，調用仿生代理模塊及感知模塊的相關函數實現交互。

二、關于仿生代理感知模塊表情識別控件的實現方法；其步驟如下：

步驟1：采用Viola提出的積分圖像和AdaBoost算法相結合的方法(P.Viola，M.Jones.Rapid?Object?Detection?using?a?Boosted?Cascade?of?Simple?Features[A].Proceedings?of?IEEEConference?on?Computer?Vision?and?Pattern?Recognition(電氣和電子工程師協會2001年計算機視覺和模式識別會議)[C].2001.511-518)，實現人臉檢測器；