[發明專利]一種基于課程學習的面部表情識別方法及裝置

有效

• 申請號: 201910122892.5
• 申請日: 2019-02-19
• 公開（公告）號: CN109829441B
• 公開（公告）日: 2020-08-21
• 發明（設計）人: 周風余;劉曉倩;常致富;王淑倩
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 楊哲

1.一種基于課程學習的面部表情識別方法，其特征在于，該方法包括：

接收面部樣本集，進行數據預處理；

構建表情識別網絡主模型；

將預處理后的面部樣本集輸入表情識別網絡主模型，確定每類表情的聚類中心，并對每類表情樣本劃分子集；

根據劃分出的子集，以課程學習的訓練策略優化模型；

接收待識別面部數據，根據優化后的模型進行面部表情識別；

在該方法中，所述表情識別網絡主模型包括依次連接的InceptionResnet-V2預訓練模型、全局平均池化層、全連接層和分類層；

所述InceptionResnet-V2預訓練模型用于提取面部樣本集特征；

所述全局平均池化層用于將經過預訓練模型得到的特征進行一維化；

所述全連接層包含256個神經元，用于得到面部樣本集的256維的特征向量；

所述分類層包含7個神經元，用于對七種表情的分類。

2.如權利要求1所述的一種基于課程學習的面部表情識別方法，其特征在于，在該方法中，所述面部樣本集中的面部樣本數據為面部樣本圖片，對面部樣本圖片進行所述數據預處理包括對每幅面部樣本圖片進行歸一化以及對面部樣本圖片中的每個像素進行歸一化。

3.如權利要求1所述的一種基于課程學習的面部表情識別方法，其特征在于，在該方法中，所述表情識別網絡主模型中的所述全局平均池化層和全連接層后均連接Dropout層，所述Dropout層對神經元的保留概率設置為0.5。

4.如權利要求1所述的一種基于課程學習的面部表情識別方法，其特征在于，在該方法中，所述確定每類表情的聚類中心的具體步驟包括：

計算每類表情中每個樣本的歐式距離矩陣；

根據歐式距離矩陣，計算每類表情中每個樣本的局部密度值；

根據歐式距離矩陣，計算每類表情中每個樣本的距離值；

計算每類表情中每個樣本的局部密度值與距離值的乘積，其最大值為該類表情的聚類中心。

5.如權利要求1所述的一種基于課程學習的面部表情識別方法，其特征在于，在該方法中，所述對每類表情樣本劃分子集的具體步驟包括：計算各個樣本到聚類中心歐氏距離的遠近，按照一定比例將每類表情樣本分成復雜程度不同的三個子集：簡單子集、困難子集、非常困難子集。

6.如權利要求1所述的一種基于課程學習的面部表情識別方法，其特征在于，在該方法中，以課程學習的訓練策略優化模型的具體步驟包括：

將每類表情樣本劃分出的三個子集分別進行混合，得到三個總子集，每個總子集中均包含七種表情，所述總子集包括簡單總子集、困難總子集、非常困難總子集；

由簡單總子集、困難總子集到非常困難總子集的順序對表情識別網絡主模型進行優化訓練，得到最終的表情識別模型。

7.如權利要求1所述的一種基于課程學習的面部表情識別方法，其特征在于，該方法還包括在優化訓練過程中，防止模型過擬合，使用學習率衰減對模型進行微調。

8.一種計算機可讀存儲介質，其中存儲有多條指令，其特征在于，所述指令適于由終端設備的處理器加載并執行如權利要求1-7任一項所述的一種基于課程學習的面部表情識別方法。

9.一種終端設備，其包括處理器和計算機可讀存儲介質，處理器用于實現各指令；計算機可讀存儲介質用于存儲多條指令，其特征在于，所述指令適于由處理器加載并執行如權利要求1-7任一項所述的一種基于課程學習的面部表情識別方法。

10.一種基于課程學習的面部表情識別裝置，基于如權利要求1-7任一項所述的一種基于課程學習的面部表情識別方法，包括：依次連接的數據預處理模塊、主模型構建模塊、課程設計模塊、課程學習模塊和面部表情識別模塊；

所述數據預處理模塊用于接收面部樣本集，進行數據預處理；

所述主模型構建模塊用于構建表情識別網絡主模型；

所述課程設計模塊用于將預處理后的面部樣本集輸入表情識別網絡主模型，確定每類表情的聚類中心，并對每類表情樣本劃分子集；

所述課程學習模塊用于根據劃分出的子集，以課程學習的訓練策略優化模型；

所述面部表情識別模塊用于接收待識別面部數據，根據優化后的模型進行面部表情識別。