[發明專利]一種情緒追蹤方法、系統、裝置及存儲介質

在審

• 申請號: 202310304196.2
• 申請日: 2023-03-24
• 公開（公告）號: CN116310992A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 梅曉勇;張可金;王鑫鑫;楊毅;黃昌勤
• 申請（專利權）人: 浙江師范大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06T3/40;G06V10/40;G06V10/764;G06V10/80;G06V10/82;G06V40/16;G06N3/08;G06N3/0464;G06N3/0475;G06N3/094;G06N3/048
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 余凱歡

1.一種情緒追蹤方法，其特征在于，包括：

獲取待追蹤視頻的視頻幀圖像；

利用圖像超分辨率模型，對所述視頻幀圖像進行超分辨率處理，獲得目標圖像；其中，所述圖像超分辨率模型包括編碼器、解碼器和修復網絡；

利用情緒識別模型，對所述目標圖像進行分析，獲得情緒識別結果；其中，所述情緒識別模型包括淺層特征提取模塊、深層特征學習模塊和分類模塊；

基于所述情緒識別結果，確定可視化數據和情緒追蹤調整數據。

2.根據權利要求1所述的一種情緒追蹤方法，其特征在于，所述獲取待追蹤視頻的視頻幀圖像，包括：

獲取待追蹤視頻；

對所述待追蹤視頻進行多線程抽取，得到視頻幀圖像。

3.根據權利要求1所述的一種情緒追蹤方法，其特征在于，所述利用圖像超分辨率模型，對所述視頻幀圖像進行超分辨率處理，獲得目標圖像，包括：

通過所述編碼器提取所述視頻幀圖像的潛在特征；

利用所述修復網絡，對所述潛在特征進行深度生成操作，獲得先驗信息；其中，所述修復網絡基于預訓練的生成對抗網絡構建得到；通過所述預訓練獲取指定潛在空間中圖像生成方向的先驗知識；

通過所述解碼器，根據所述潛在特征生成空間特征；對所述空間特征進行像素注意力操作，得到加權空間特征；

對所述先驗信息和所述加權空間特征進行融合處理，得到目標圖像。

4.根據權利要求3所述的一種情緒追蹤方法，其特征在于，所述對所述先驗信息和所述加權空間特征進行融合處理，得到目標圖像，包括：

對所述先驗信息進行通道分離操作，得到第一先驗信息和第二先驗信息；

將第二先驗信息與所述加權空間特征進行通道聚合，得到聚合特征；

對所述聚合特征進行全局平均池化和兩組卷積，得到縮放因子；

對所述聚合特征進行兩組卷積，得到平移因子；

基于所述第一先驗信息、所述第二先驗信息、所述縮放因子和所述平移因子進行整合處理，得到輸出特征；

基于所述輸出特征進行融合重建處理，得到目標圖像。

5.根據權利要求1所述的一種情緒追蹤方法，其特征在于，所述利用情緒識別模型，對所述目標圖像進行分析，獲得情緒識別結果，包括：

對所述目標圖像進行預處理，通過所述淺層特征提取模塊對所述預處理后的目標圖像進行粒度信息轉換，得到淺層特征；其中，所述預處理包括旋轉整流處理和光照歸一化處理；所述淺層特征提取模塊包括多層卷積組結構；

通過所述深層特征學習模塊，對所述淺層特征進行多次鏈式操作，得到深層特征；其中，所述深層特征學習模塊包括雙路徑互通殘差結構塊和特征嵌入結構；

通過所述分類模塊，使用全連接神經網絡對所述深層特征進行情緒分類，得到情緒識別結果；其中，所述全連接神經網絡帶有隨機失活操作。

6.根據權利要求5所述的一種情緒追蹤方法，其特征在于，所述鏈式操作，包括：

通過所述雙路徑多尺度殘差塊，對目標特征進行深層特征學習，得到學習特征；

通過所述特征嵌入結構，對所述學習特征進行第一特征嵌入處理，得到權重值；基于所述權重值，結合所述目標特征和所述學習特征進行第二特征嵌入處理，得到加強特征；

其中，首次所述鏈式操作的目標特征為淺層特征，后續所述鏈式操作的目標特征為上一次鏈式操作得到的加強特征。

7.根據權利要求6所述的一種情緒追蹤方法，其特征在于，所述通過所述雙路徑多尺度殘差塊，對目標特征進行深層特征學習，得到學習特征，包括：

對所述目標特征進行基于數據共享的雙路徑可分離卷積運算，并對所述雙路徑可分離卷積運算的結果進行聚合，得到多尺度特征；

根據所述多尺度特征，進行第一特征加權處理，得到第一加權特征；和，根據所述多尺度特征，進行第二特征加權處理，得到第二加權特征；

根據所述第一加權特征和所述第二加權特征，結合隨機權重整合得到目標加權特征；

對所述目標加權特征進行降維處理，實現恒等映射得到學習特征。