[發明專利]一種柔性電子的多通道融合輕微負性表情檢測方法及裝置

在審

• 申請號: 202110362355.5
• 申請日: 2021-04-02
• 公開（公告）號: CN113133765A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 譚小慧;莊美琪;鄒星宇
• 申請（專利權）人: 首都師范大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/00;A61B5/389
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 江亞平

本發明涉及一種基于柔性電子的多通道融合輕微負性表情檢測方法及裝置，其方法包括：步驟S1：采集表情數據，并對其進行分類編碼；步驟S2：對表情數據進行特征提取，得到訓練數據；步驟S3：將訓練數據，輸入輕微負性表情分類模型進行訓練，得到訓練好的輕微負性表情分類模型；步驟S4：對表情數據進行連續采集，并輸入訓練好的輕微負性表情分類模型，得到初始輕微負性表情分類結果，并對初始輕微負性表情分類結果進行平滑處理后，得到輕微負性表情分類結果。本發明提出的方法，通過檢測面部的肌電信號來進行輕微負性表情及強度的識別，提高了光線、姿態等受限條件下的輕微負性表情識別的準確率和速度，通過識別結果可做出用戶情感自適應的設計。

技術領域

本發明涉及表情識別技術領域，具體涉及一種基于柔性電子的多通道融合輕微負性表情檢測方法及裝置。

背景技術

表情效價是描述一個人對事物的吸引與排斥程度，分為正性與負性的情緒，在心理學上將緊張、焦慮、憤怒、沮喪、悲傷、痛苦等情緒統稱為負性情緒。當負性情緒發生的時候會產生消極的狀態，甚至會對生活與工作產生抑制作用的影響，因此利用科學技術對該類情緒的探討與識別有著重大意義。

在1971年，Ekman等人研究了人類的6種基本表情(高興、悲傷、驚訝、厭惡、恐懼、憤怒)并細致的描述了每一種表情對應的面部肌肉是如何變化的(Facial action codingsystem，簡稱FACS)，同時定義了面部動作單元(Action Unit，簡稱AU)，隨后有關人臉面部表情的研究大部分基于面部動作單元展開。動作單元是基于解剖學，將面部肌肉劃分為互不干擾的肌肉群，每一個動作單元控制著一塊肌肉群，當對應的肌肉發生形變的時候代表著該動作單元出現。并且對動作單元的強度進行5級定義，由弱到強分別是A到E，因此多個不同強度的動作單元可以組成表示各種不同的表情。

在虛擬現實領域中，人機交互的實現通常以頭盔等穿戴式設備作為媒介，使用者的情感監督是提升沉浸感的重要方式之一，但由于頭盔的限制，僅能采集到臉部上部分的表情信息，在專利《一種可穿戴增強現實遠程視頻系統及視頻通話方法》中，提出增強現實智能眼鏡系統，在裝備中設置了光纖掃描投射器、雙目紅外手勢識別攝像頭、眼動儀、雙目前視廣角攝像頭等設備對面部信息進行掃描獲取。在專利《一種基于面目表情識別的智能VR眼鏡》中設置傳感設備對肌電信號進行采集，該發明中表示選擇了較小的電極提高了選擇靈活性，但帶來了較大的皮膚接觸電阻。

發明內容

為了解決上述技術問題，本發明提供一種基于柔性電子的多通道融合輕微負性表情檢測方法及裝置。

本發明技術解決方案為：一種基于柔性電子的多通道融合輕微負性表情檢測方法，包括：

步驟S1：采集表情數據，并對其進行分類編碼；

步驟S2：對所述表情數據進行特征提取，得到訓練數據；

步驟S3：將所述訓練數據，輸入輕微負性表情分類模型進行訓練，得到訓練好的輕微負性表情分類模型；

步驟S4：對表情數據進行連續采集，并輸入所述訓練好的輕微負性表情分類模型，得到初始輕微負性表情分類結果，并對所述初始輕微負性表情分類結果進行平滑處理后，得到輕微負性表情分類結果。

本發明與現有技術相比，具有以下優點：

1、本發明提出以眉目肌電信號為主的情感識別方法，通過檢測面部的肌電信號來進行輕微負性表情及強度的識別，提高了光線、姿態等受限條件下的輕微負性表情識別的準確率和速度，通過識別結果可做出用戶情感自適應的設計以提升沉浸感與交互性。

2、本發明采用一種入侵感極低的柔性電子裝置進行采集，用戶不會因為傳感設備而影響面部表情發生變化，提升用戶的沉浸感，且不會增加設備的成本。

附圖說明

圖1為本發明實施例中一種基于柔性電子的多通道融合輕微負性表情檢測方法的流程圖；