[發明專利]一種基于深度森林和卷積神經網絡的微表情識別方法

有效

• 申請號: 202010589037.8
• 申請日: 2020-06-24
• 公開（公告）號: CN111814609B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 劉昆宏;孫蒙新;吳清強;洪清啟;陳俐燕;蘇勁松;姚俊峰
• 申請（專利權）人: 廈門大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 嚴業福

1.一種基于深度森林和卷積神經網絡的微表情識別方法，所述方法包括：

步驟一、采集微表情圖像，使用光流法和光流應變法結合的三維特征作為微表情的特征，將光流法得到的光流向量和應變向量拼接形成特征作為算法的輸入，每個圖像都表示為三維光流向量Θ，Θ＝{u,v,ε}∈R³，其中，u表示光流場的水平分量，v表示光流場的垂直分量，ε表示光學應變測量；

步驟二、構造基于深度森林和卷積神經網絡的異質集成模型，將深度森林的重表示特征經過卷積層和卷積神經網絡的深度特征混合形成新的圖像特征，幫助分類器實現判別分類；

步驟三、結合當前場景內容和微表情分類，與識別對象進行交互；

對微表情進行分類包括：

對于卷積神經網絡部分，輸入28*28的光流特征圖像和頂點幀圖像，兩種圖像通過卷積池化操作，將每一個圖像塊處理成48*10*10大小的特征圖，對于深度森林部分，輸入28*28的光流特征圖像，深度森林中每一層采用完全隨機森林和隨機森林進行訓練，使用滑動窗口將2352維特征化成432維類向量，之后經過池化窗口提取最大特征得到108維向量，綜合不同滑動窗口的結果得到582維特征；將經過深度森林轉化后的特征經過一層卷積神經網絡與之前的淺層卷積神經網絡融合送入全連接層，全連接層提供了進一步的抽象特征，進而得到最終分類結果。

2.一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1所述的方法。

3.一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序用于：

所述計算機程序被處理器執行時實現如權利要求1所述的方法。