[發明專利]一種面部語義認知特征識別方法

有效

• 申請號: 201210185106.4
• 申請日: 2012-06-06
• 公開（公告）號: CN103366153A
• 公開（公告）日: 2013-10-23
• 發明（設計）人: 王先梅;鄭思儀;李程;王志良
• 申請（專利權）人: 北京科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

技術領域

本發明涉及人機交互行為理解技術領域，尤其涉及一種面部語義認知特征識別方法。

背景技術

人的面部包含了豐富的信息，是反映人類心理活動的重要指示器，也是人際交流中經常使用、不可或缺的表達方式，作為一種重要的非語言通道，對理解用戶的態度和意圖具有不可替代的重要作用。因此在多模態人機接口以及人機交互下的動作和行為理解等方面，面部外顯的表征就成為一個重要的研究課題。

當前面部外顯表征方法可以分為兩大類：包括基于面部運動編碼系統（Facial?Action?Coding?System,FACS：面部運動編碼系統）的符號描述與基于紋理、灰度、顏色、形狀等的數學描述。上述描述的不足之處在于：(1)盡管大量研究都采用數學表達方式來表述面部線索，但是認知科學的研究成果表明：人類推理是典型的符號推理，數據驅動方式只有與模型推理相結合，才能取得更好的效果。(2)FACS運動單元（Action?Units,AUs：運動單元）是描述精細面部肌肉運動的主流方式，研究者往往直接利用運動單元及其組合作為面部外顯的表征。而在現實生活中，人們往往傾向于利用比肌肉運動更為直觀/感性的方式來描述面部的狀態，例如“目不轉睛”、“目瞪口呆”、“搖頭晃腦”、“呲牙咧嘴”等。可見，直接用面部肌肉運動來描述面部的運動還不是非常符合人類已有的認知機制。

發明內容

本發明解決的技術問題在于借鑒人類認知經驗實現面部外顯的信息表征（我們稱之為面部外顯的語義認知特征），從而使面部外顯的信息描述符合人的主觀認識，并建立面部外顯語義認知特征提取的計算模型和實現方案。

為了解決以上問題，一種面部語義認知特征識別方法，包括以下步驟：

面部語義認知特征構建步驟，抽取面部語義認知特征，建立面部語義認知特征與面部運動單元之間的映射關系；

面部語義認知特征提取計算模型設計步驟，根據面部外顯的生理特性，建立分層、動態、多分辨率的面部語義認知特征提取計算模型；

面部語義認知特征提取實現步驟，利用多級閾值以及隱馬爾可夫算法實現面部運動單元檢測和面部語義認知特征提取。

進一步，作為一種優選，所述面部語義認知特征提取實現步驟具體包括：

運動單元序列分割步驟，對面部運動單元進行時空分析，形成面部語義認知特征的輸入序列；

模型訓練步驟，利用訓練樣本集的運動單元序列獲取隱馬爾可夫模型參數和模型門限閾值；

認知特征檢測步驟，輸入運動單元序列和訓練好的隱馬爾可夫模型，判斷該序列是否歸屬于模型所代表的面部認知語義特征。

進一步，作為一種優選，所述運動單元序列分割步驟，進一步包括：

預處理步驟，利用Ad?boost算法檢測每幀圖像中是否包含人臉，然后利用主動形狀模型（Active?Shape?Model，ASM：主動形狀模型）算法計算人臉的面部關鍵特征點位置，利用面部關鍵特征點位置獲取各種關鍵區域的位置；

幀內運動單元分析步驟，采用多級閾值決策法將面部信息映射為相應的運動單元符號描述；

幀間運動單元檢測步驟，對上述幀內運動單元進行時域分析，采用最大值法將每F1幀的幀內運動單元映射成1個幀間運動單元。

進一步，作為一種優選，所述運動單元序列分割步驟具體為：對視頻流中出現的幀內運動單元采用多級閾值決策法進行識別，并暫存識別結果；當輸入流里的幀內運動單元長度達到F₁時，就觸發一個幀間運動單元檢測事件；當幀間運動單元長度積累到F₂時，則形成一個面部語義認知特征輸入序列。

進一步，作為一種優選，所述最佳閾值確定具體為：所有閾值的最優值均采用遍歷法確定，也就是說在每個閾值的取值范圍內，以一定的步長遍歷所有可能的取值，取識別率最高的一組參數作為最終的閾值參數。

進一步，作為一種優選，所述隱馬爾可夫模型（Hidden?Markov?model,HMM：隱馬爾可夫模型）參數獲取步驟，采用Baum-welch算法進行，為每個認知特征建立了1個隱馬爾可夫模型，拓撲結構為遍歷型HMM拓撲結構，在模型訓練過程中，采用經驗最小概率法確定概率門限閾值。

進一步，作為一種優選，所述模型概率門限閾值訓練步驟具體為：

將訓練樣本的N條幀間運動單元序列{AU_i[1:F₂]}依次通過Baum-welch算法，得到每個序列AU_i[1:F₂]屬于該類HMM的概率P_i；