[發明專利]多模態情感識別方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011262785.1
• 申請日: 2020-11-12
• 公開（公告）號: CN112418034A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 曾祥云;顧文元;張雪源
• 申請（專利權）人: 元夢人文智能國際有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F40/30;G06K9/62;G10L15/26;G10L25/63
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 何琦

1.一種多模態情感識別方法，其特征在于，包括步驟：

對待識別對象的視頻數據進行去重，獲取所述待識別對象的人臉時序圖像數據；

在獲取所述待識別對象的視頻數據時，實時獲取所述待識別對象的文本數據；

將對齊后的所述人臉時序圖像數據和所述文本數據輸入至多模態情感識別模型，以進行所述待識別對象的多模態情感識別。

2.根據權利要求1所述多模態情感識別方法，其特征在于，所述在獲取所述待識別對象的視頻數據時，實時獲取所述待識別對象的文本數據，具體包括步驟：

獲取所述待識別對象在每一輪輪對話中輸入的語音數據；

通過語音識別接口將所述語音數據實時翻譯成文本數據。

3.根據權利要求1所述多模態情感識別方法，其特征在于，所述將對齊后的所述人臉時序圖像數據和所述文本數據輸入至多模態情感識別模型，以進行所述待識別對象的多模態情感識別，具體包括步驟：

利用所述多模態情感識別模型抽取以圖像為核心的第一雙模態特征和以文本為核心的第二雙模態特征；

將所述第一雙模態特征和所述第二雙模態特征進行特征拼接獲得目標特征；

將所述目標特征輸入至所述多模態情感識別的softmax分類器進行分類和損失計算，以獲取所述待識別對象的多模態情感。

4.根據權利要求3所述多模態情感識別方法，其特征在于，所述利用所述多模態情感識別模型抽取以圖像為核心的第一雙模態特征，具體包括步驟：

將所述人臉時序圖像數據中的圖像語義時序向量采用定義的圖像卷積層進行卷積，以獲得圖像時序特征；

對所述圖像時序特征在通道上進行壓縮，得到圖像特征向量；

將基于所述文本數據得到的文本特征向量和所述圖像特征向量分別進行歸一化；

通過所述多模態情感識別模型的跨模態注意力機制層將所述圖像特征向量和文本特征向量進行交互，得到所述第一雙模態特征。

5.根據權利要求4所述多模態情感識別方法，其特征在于，在所述將基于所述文本數據得到的文本特征向量和所述圖像特征向量分別進行歸一化之前，還包括步驟：

對所述圖像特征向量進行歸一化，并乘以一個預設系數；

對所述圖像特征向量進行位置編碼，得到的位置編碼向量和所述圖像特征向量進行點對點相加，并以預設概率隨機設置為零，以獲得初始圖像特征矩陣；

其中，所述初始圖像特征矩陣用于復制所述文本特征向量。

6.根據權利要求5所述多模態情感識別方法，其特征在于，所述通過所述多模態情感識別模型的跨模態注意力機制層將所述圖像特征向量和文本特征向量進行交互，得到所述第一雙模態特征，具體包括步驟：

將所述文本特征向量復制后，對所述文本特征向量和所述圖像特征向量分別做線性變換得到第一文本矩陣和第一圖像矩陣，對所述初始圖像特征矩陣做線性變換得到當前圖像特征矩陣；

分別對所述第一文本矩陣、所述第一圖像矩陣和所述當前圖像特征矩陣進行形狀變化，得到變化形狀后的所述當前圖像特征矩陣；

將變化形狀后的所述當前圖像特征矩陣和所述第一文本矩陣進行矩陣相乘得到第一權重矩陣；

將所述第一權重矩陣轉化為概率矩陣，將所述概率矩陣上的元素置為零，得到第二權重矩陣；

將所述第二權重矩陣與所述第一圖像矩陣相乘獲得第一雙模態矩陣；利用線性變換器對所述第一雙模態矩陣進行變換，并進行歸一化得到所述第一雙模態特征。

7.根據權利要求4所述多模態情感識別方法，其特征在于，所述利用所述多模態情感識別模型抽取以文本為核心的第二雙模態特征包括步驟：

將所述文本數據中的文本語義向量采用定義的文本卷積層進行卷積，以獲得文本特征；

對所述文本特征在通道上進行壓縮，得到文本特征向量；

將所述文本特征向量和所述圖像特征向量分別進行歸一化；

通過所述多模態情感識別模型的跨模態注意力機制層將所述圖像特征向量和文本特征向量進行交互，得到所述第二雙模態特征。