[發明專利]一種基于語音字典稀疏遷移學習的微表情識別方法

有效

• 申請號: 201710346931.0
• 申請日: 2017-05-16
• 公開（公告）號: CN106971180B
• 公開（公告）日: 2019-05-07
• 發明（設計）人: 賁晛燁;馮云聰;韓民;朱雪娜;任億;趙子君
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G10L17/02;G10L17/04;G10L17/14
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 呂利敏

一種基于語音字典稀疏遷移學習的微表情識別方法，包括訓練階段和測試階段。本專利通過投影的方式將語音和微表情投影到公共空間內，并且為了簡化計算，提高效率，對投影后的數據進行稀疏字典表示；為了進一步縮小兩個域的數據差距，考慮將兩個域的字典進行彼此之間的重構，從而實現了字典的關聯性，這樣使得投影后的稀疏表示矩陣產生了更大的相關性。

技術領域

本發明涉及一種基于語音字典稀疏遷移學習的微表情識別方法，屬于模態識別以及機器學習的技術領域。

背景技術

微表情是人們在抑制狀態下或者試圖隱藏真實情感時泄露的一種時間極短、不由自主的面部表情。1966年，Haggard和Issacs首次發現了這種細微的表情。Ekman等人對微表情開展了一系列的研究，微表情被認定是一種可靠的偵測謊言的線索。近些年來，隨著微表情概念的提出和迅速發展，其在安防監控、案件偵查、網絡安全、軍事、商業甚至娛樂等領域都展現出良好的應用前景。2002年，微表情研究取得了巨大進展，Ekman等人開發了微表情訓練工具(Micro Expression Training Tool,METT)，該工具有效的提高了微表情識別能力。

隨著機器學習和表情識別算法的迅速發展，微表情自動識別研究取得了長足的進步。Zhang等人提出了一種新的判別特征描述符，提取了光流直方圖和LBP-TOP特征；He等人提出了一種不同權重應對不同特征層特征的多任務特征學習方法；Ben等人提出了基于最大化最小化內部拉普拉斯算子的最大邊緣投影與張量表示；Wang等人通過尋找一個張量的子空間讓樣本之間的相關性最大化，提出了稀疏的張量典型相關分析；這些針對不同問題提出的新理論在具體的領域中都取得了明顯的提高。

盡管有越來越多的微表情識別方法出現，但由于訓練樣本數量的限制，這些算法很難訓練出一個有效的模型。而遷移學習在這方面有著突出的優勢，遷移學習利用原始領域的知識解決相關域的問題。遷移學習可以歸為三個部分：歸納學習，轉移學習，無監督遷移學習。Chang等人提出了利用半監督信息來計算不同特征間的相關性；Yeh等人提出了一種利用CCA將所有數據投影到一個公共空間的領域自適應算法；這些提出的方法各有特點，針對特定問題效果明顯，但目前從語音到微表情的遷移學習仍未有人提出。

語言和表情是人們流露情感的兩種最直觀的方式。當情感波動時，人的語言會發生明顯的變化，例如音調的升降，語速的快慢。因此對于微表情的識別，當樣本數量不足以支撐訓練有效模型時，語音是一種非常理想的輔助工具，所以本發明涉及從豐富的語音情感樣本中尋找到有效的信息幫助微表情進行分類。實驗結果證明，這是一種科學的有效的手段。

發明內容

針對目前從語音到微表情的遷移學習空白的技術問題，本發明提出了一種基于語音字典稀疏遷移學習的微表情識別方法。本發明與其他識別方法相比，首次應用于語音到微表情的識別，并且識別性能得到有效提高。

本發明的技術方案如下：

一種基于語音字典稀疏遷移學習的微表情識別方法，包括訓練階段和測試階段；

所述訓練階段包括如下步驟：

首先，對語音域和微表情域提取最具代表性的特征；所述語音域的特征包括：短時能量、基音頻率、二階MFCC系數、第一至第四共振峰、上述特征的最大值、最小值、均值、中位值和方差五組統計量；微表情域的特征直接提取LBP-TOP，并對該特征利用PCA算法進行降維；

然后，對提取完的特征數據進行分組，語音域和微表情域的特征集均分成訓練集和測試集；

接著，由于不同領域的數據存在較大的差異，如果直接進行數據的配對，不僅僅在物理意義上難以講通，實際的效果也不理想，因此本發明通過迭代算法找到一個最優的投影矩陣，使得語音域和微表情域的數據投影到一個公共空間，在公共空間中同時求出語音域的稀疏字典與微表情的稀疏字典，為了提高兩個域的字典的關聯度，對所述語音域的稀疏字典和微表情域的稀疏字典進行彼此的重構；