[發明專利]一種基于智能陪伴機器人的人臉表情識別方法

在審

• 申請號: 201911401295.2
• 申請日: 2019-12-30
• 公開（公告）號: CN111191598A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 紀剛;商勝楠;周萌萌;周粉粉
• 申請（專利權）人: 青島聯合創智科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/42;G06N3/04
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 馬千會

1.一種基于智能陪伴機器人的人臉表情識別方法，其特征在于，包括：

對待檢測視頻圖像進行預處理；

對預處理后的視頻幀采用人臉檢測算法進行人臉檢測，得到人臉信息；

對檢測出的人臉的面部表情進行識別，并輸出識別結果。

2.根據權利要求1所述的基于智能陪伴機器人的人臉表情識別方法，其特征在于，所述的預處理包括：將彩色圖像I轉換為灰度圖像I_gray。

3.根據權利要求2所述的基于智能陪伴機器人的人臉表情識別方法，其特征在于，判斷圖像I_gray的大小，若超過設定的閾值，則采用區域插值的方式來縮小圖像I_gray的大小，縮小比例在[0,1]內取值。

4.根據權利要求3所述的基于智能陪伴機器人的人臉表情識別方法，其特征在于，所述的人臉檢測算法包括：

將輸入的圖像I_gray輸入快速LAB級聯分類器，得到候選人臉窗口x的集合X；所述LAB級聯分類器如下式：

y＝c₁(x)∨c₂(x)∨...∨c_d(x)， (1)

其中：y∈{0,1}和c_i(x)∈{0,1}，式(1)表示x是否被確定為人臉；

將得到的候選人臉窗口集合X輸入基于SURF特征的MLP級聯分類器，以確定輸入圖像中人臉的位置；MLP神經網絡包含一個輸入層、多個隱藏層和一個輸出層；一個n層的MLP F(·)，如下式：

F(x)＝f_n-1(f_n-2(...f₁(x)))， (2)

f_i(z)＝σ(W_iz+b_i)， (3)

其中x是輸入，W_i和b_i分別表示第i層到第i+1的權重和偏差；σ(·)表示激活函數。

5.根據權利要求4所述的基于智能陪伴機器人的人臉表情識別方法，其特征在于，采用計算預測結果與真實結果之間的最小均方誤差來訓練MLPs，以得到候選人臉窗口集合，目標函數如下式：

其中，x_i表示第i個訓練樣本的特征矢量，y_i是與之對應的標簽1或0，1表示該樣本是人臉，0表示不是人臉。

6.根據權利要求5所述的基于智能陪伴機器人的人臉表情識別方法，其特征在于，將MLP級聯分類器的輸出輸入到精細MLP級聯分類器中，以最終確定輸入圖像中的人臉位置及個數；

其中，F_c是人臉分類輸出，F_s是預測輸出的形狀；表示根據x_i的預測形狀從第i個訓練樣本x_i中提取的形狀索引特征，s_i表示樣本的真實形狀；λ表示維持兩類誤差間平衡的權重因子。

7.根據權利要求1所述的基于智能陪伴機器人的人臉表情識別方法，其特征在于，所述的表情識別方法主要包括：

搭建基于Keras框架搭建卷積神經網絡；采用kaggle fer2013表情數據集和部分JAFFE數據集樣本及自添加部分表情樣本作為訓練樣本，對所述的卷積神經網絡進行表情模型訓練；

將通過人臉檢測方法得到的人臉信息輸入所述的卷積神經網絡，得到表情的分類結果；所述表情分為高興、憤怒、厭惡、恐懼、悲傷、驚訝和中性7個類別。