[發明專利]人臉表情識別方法、系統、存儲介質、計算機程序、終端有效
| 申請號： | 202010320414.8 | 申請日： | 2020-04-22 |
| 公開（公告）號： | CN111582067B | 公開（公告）日： | 2022-11-29 |
| 發明（設計）人： | 李劍峰 | 申請（專利權）人： | 西南大學 |
| 主分類號： | G06V40/16 | 分類號： | G06V40/16;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 重慶市信立達專利代理事務所(普通合伙) 50230 | 代理人： | 陳炳萍 |
| 地址： | 400715*** | 國省代碼： | 重慶;50 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 表情 識別 方法 系統 存儲 介質 計算機 程序 終端 | ||
1.一種人臉表情識別方法，其特征在于，所述人臉表情識別方法包括：
第一步，根據給定的深度圖和RGB圖片組合預訓練一個圖像生成模型，訓練好的圖像生成模型能根據訓練所用的RGB圖像樣式將輸入的深度圖轉化為RGB圖像；
第二步，生成RGB圖像中表情的眉、眼以及嘴部，訓練著重考慮眉、眼以及嘴部的卷積神經網絡，卷積神經網絡實現表情識別；
所述第一步包括將不同場景下采集的圖片轉化為統一的預訓練場景，通過預訓練的生成模型，根據深度圖生成RGB圖，實現不同場景數據統一成訓練場景數據；具體包括：
（1）選擇pix2pix網絡作為人臉表情識別方法的預訓練圖像生成模型，pix2pix網絡被用于訓練根據輸入的深度圖生成對應的RGB圖像；
（2）用公開數據庫Bosphorus中的圖片作為預訓練模型的數據來源；訓練后的模型即能根據深度圖生成與Bosphorus數據庫場景一致的RGB圖；
所述第二步還包括：
（1）通過眉、眼以及嘴部的坐標確定在圖中的位置，剪切出來，經過加強，再放入神經網絡訓練；
（2）神經網絡通過步長為2、卷積核大小為7、通道數為64的卷積層、BN層、relu層、池化層、兩個殘差塊加強學習眉、眼以及嘴部的特征信息，得到描述眉、眼以及嘴部的4個特征圖；
所述圖像生成模型生成的RGB圖，整個放入殘差學習網絡ResNet-18訓練，學習整張臉關于表情的特征信息；在通過ResNet-18的第一層后，圖像的通道數剛好是64，矩陣大小是64×64，特征圖為A；將得到的關于眉、眼以及嘴部的特征圖對應地疊加A上，實現在網絡訓練時加強眉、眼以及嘴部信息的學習。
2.一種接收用戶輸入程序存儲介質，所存儲的計算機程序使電子設備執行如權利要求1所述的人臉表情識別方法。
3.一種人臉表情識別系統，其特征在于，所述人臉表情識別系統包括：
深度圖轉化模塊，根據給定的深度圖和RGB圖片組合預訓練一個圖像生成模型，訓練好的圖像生成模型能根據訓練所用的RGB圖像樣式將輸入的深度圖轉化為RGB圖像；將不同場景下采集的圖片轉化為統一的預訓練場景，通過預訓練的生成模型，根據深度圖生成RGB圖，實現不同場景數據統一成訓練場景數據；具體包括：
（1）選擇pix2pix網絡作為人臉表情識別方法的預訓練圖像生成模型，pix2pix網絡被用于訓練根據輸入的深度圖生成對應的RGB圖像；
（2）用公開數據庫Bosphorus中的圖片作為預訓練模型的數據來源；訓練后的模型即能根據深度圖生成與Bosphorus數據庫場景一致的RGB圖；
表情識別模塊，生成RGB圖像中表情的眉、眼以及嘴部，訓練著重考慮眉、眼以及嘴部的卷積神經網絡，卷積神經網絡實現表情識別；
（1）通過眉、眼以及嘴部的坐標確定在圖中的位置，剪切出來，經過加強，再放入神經網絡訓練；
（2）神經網絡通過步長為2、卷積核大小為7、通道數為64的卷積層、BN層、relu層、池化層、兩個殘差塊加強學習眉、眼以及嘴部的特征信息，得到描述眉、眼以及嘴部的4個特征圖；
所述圖像生成模型生成的RGB圖，整個放入殘差學習網絡ResNet-18訓練，學習整張臉關于表情的特征信息；在通過ResNet-18的第一層后，圖像的通道數剛好是64，矩陣大小是64×64，特征圖為A；將得到的關于眉、眼以及嘴部的特征圖對應地疊加A上，實現在網絡訓練時加強眉、眼以及嘴部信息的學習。
4.一種終端，其特征在于，所述終端搭載如權利要求3所述的人臉表情識別系統。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于西南大學，未經西南大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010320414.8/1.html，轉載請聲明來源鉆瓜專利網。
