[發明專利]一種情緒識別方法、裝置、計算機可讀存儲介質及設備有效
| 申請號： | 202110952147.0 | 申請日： | 2021-08-19 |
| 公開（公告）號： | CN113408503B | 公開（公告）日： | 2021-12-21 |
| 發明（設計）人： | 姚娟娟;鐘南山 | 申請（專利權）人： | 明品云（北京）數據科技有限公司 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00 |
| 代理公司： | 上海漢之律師事務所 31378 | 代理人： | 馮華 |
| 地址： | 102400 北京市*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 情緒 識別 方法 裝置 計算機 可讀 存儲 介質 設備 | ||
1.一種情緒識別方法，其特征在于，包括：
獲取目標對象的語音特征、表情特征和生物特征；
通過預先訓練完成的第一情緒識別模型對所述語音特征進行情緒識別，得到第一情緒識別結果；
通過預先訓練完成的第二情緒識別模型對所述表情特征進行情緒識別，得到第二情緒識別結果；
通過預先訓練完成的第三情緒識別模型對所述生物特征進行情緒識別，得到第三情緒識別結果；
利用預先構建的融合模型將所述第一情緒識別結果、第一情緒識別結果、第三情緒識別結果進行融合，得到融合值；
根據所述融合值識別出所述目標對象的情緒；
所述語音特征包括動作特征和韻律學特征；
還包括：對所述韻律學特征進行增強；
所述對所述韻律學特征進行增強，包括：
基于所述目標對象的韻律學特征，以第n幀韻律學特征和以第n幀韻律學特征為中心的相鄰多幀韻律學特征構成輸入韻律學特征序列；
對所述輸入韻律學特征序列進行編碼，得到編碼特征序列；
對所述編碼特征序列進行解碼，得到所述輸入韻律學特征序列對應的增強韻律學特征序列。
2.根據權利要求1所述的情緒識別方法，其特征在于，在對所述輸入韻律學特征序列進行編碼時，通過在所述相鄰多幀韻律學特征上施加多頭自注意力運算。
3.根據權利要求1所述的情緒識別方法，其特征在于，在通過預先訓練完成的第一情緒識別模型對所述語音特征進行情緒識別前，還包括：對所述動作特征和所述韻律學特征進行特征融合，得到融合特征。
4.根據權利要求1所述的情緒識別方法，其特征在于，獲取所述目標對象的表情特征包括：
獲取人臉圖片；
通過第一神經網絡從所述人臉圖片中提取出單人表情特征；
通過第二神經網絡對所述單人表情特征進行多尺度提取，得到不同尺度下所述單人表情特征的注意力特征；
將不同尺度下所述單人表情特征的注意力特征進行融合，得到表情特征。
5.一種情緒識別裝置，其特征在于，包括：
特征獲取模塊，用于獲取目標對象的語音特征、表情特征和生物特征；
第一初始情緒識別模塊，用于通過預先訓練完成的第一情緒識別模型對所述語音特征進行情緒識別，得到第一情緒識別結果；
第二初始情緒識別模塊，用于通過預先訓練完成的第二情緒識別模型對所述表情特征進行情緒識別，得到第二情緒識別結果；
第三初始情緒識別模塊，用于通過預先訓練完成的第三情緒識別模型對所述生物特征進行情緒識別，得到第三情緒識別結果；
融合模塊，用于利用預先構建的融合模型將所述第一情緒識別結果、第一情緒識別結果、第三情緒識別結果進行融合，得到融合值；
情緒識別模塊，用于根據所述融合值識別出所述取目標對象的情緒；
所述語音特征包括動作特征和韻律學特征；
還包括：對所述韻律學特征進行增強；
所述對所述韻律學特征進行增強，包括：
基于所述目標對象的韻律學特征，以第n幀韻律學特征和以第n幀韻律學特征為中心的相鄰多幀韻律學特征構成輸入韻律學特征序列；
對所述輸入韻律學特征序列進行編碼，得到編碼特征序列；
對所述編碼特征序列進行解碼，得到所述輸入韻律學特征序列對應的增強韻律學特征序列。
6.一種情緒識別設備，其特征在于，包括處理器，所述處理器和存儲器耦合，所述存儲器存儲有程序指令，當所述存儲器存儲的程序指令被所述處理器執行時實現如權利要求1至4中任一項所述的方法。
7.一種計算機可讀存儲介質，其特征在于，包括程序，當其在計算機上運行時，使得計算機執行如權利要求1至4中任一項所述的方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于明品云（北京）數據科技有限公司，未經明品云（北京）數據科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110952147.0/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：載帶微整平設備
- 下一篇：一種圖像分類方法、裝置、計算機可讀存儲介質及設備
