[發明專利]基于藏文的多模態情感計算方法及系統

在審

• 申請號: 201910376036.2
• 申請日: 2019-05-07
• 公開（公告）號: CN110083716A
• 公開（公告）日: 2019-08-02
• 發明（設計）人: 田芳;梁麗;孫本旺
• 申請（專利權）人: 青海大學
• 主分類號: G06F16/45
• 分類號: G06F16/45;G06K9/62
• 代理公司: 北京久誠知識產權代理事務所(特殊普通合伙) 11542
• 代理人: 余罡

1.一種基于藏文的多模態情感計算方法，其特征在于，所述方法包括：

獲取待分類的藏文數據，并從該藏文數據中采集視頻信號、語音信號和文本信息；

從所述視頻信號、語音信號和文本信息中分別提取出高層視頻特征、高層語音特征和文本特征；

基于深度學習模型對高層視頻特征、高層語音特征和文本特征進行學習，獲得高層融合特征；

基于SVM在分類情感語料庫中將所述高層融合特征進行分類。

2.根據權利要求1所述的方法，其特征在于，所述分類情感語料庫通過如下方法進行構建：

采集原始藏文數據；

基于預設數據結構將所述原始藏文數據切分并處理為視頻數據、語音數據和文本數據；

對所述視頻數據、語音數據和文本數據進行情感類別標記后，存入分類情感語料庫。

3.根據權利要求1所述的方法，其特征在于，從所述視頻信號中提取出高層視頻特征，具體包括：

對所述視頻信號進行分幀處理后，將按照時序將相鄰兩幀圖像合并為一張幀圖像；

基于人臉識別算法對全部所述幀圖像進行人臉檢測以識別出人臉圖像；

對人臉圖像進行紋理特征提取，以獲得高層視頻特征。

4.根據權利要求1所述的方法，其特征在于，從所述語音信號中提取出高層語音特征，具體包括：

對所述語音信號進行預處理后，通過語音分析工具進行分析梅爾頻率倒譜的特征提取，以獲得高層語音特征。

5.根據權利要求1所述的方法，其特征在于，通過深度學習模型對高層視頻特征、高層語音特征和文本特征進行學習，得出高層融合特征，具體包括：

將同一藏文數據的高層視頻特征、高層語音特征和文本特征三種模態拼接為統一特征向量，以得出三模態的高層融合特征；以及，

通過自動編碼器算法將同一藏文數據對應的高層視頻特征與高層語音特征、高層視頻特征與文本特征、高層語音特征與文本特征兩種模態分別進行學習，以得出三種雙模態高層融合特征；

通過自動編碼器算法將同一藏文數據對應的高層視頻特征、高層語音特征和文本特征分別進行學習，以得出三種單模態高層融合特征；

所述高層融合特征包括一種三模態的高層融合特征、三種雙模態高層融合特征和三種單模態高層融合特征。

6.一種基于藏文的多模態情感計算系統，其特征在于，所述系統包括：

獲取模塊，用于獲取待分類的藏文數據，并從該藏文數據中采集視頻信號、語音信號和文本信息；

提取模塊，用于從所述視頻信號、語音信號和文本信息中分別提取出高層視頻特征、高層語音特征和文本特征；

處理模塊，用于基于深度學習模型對高層視頻特征、高層語音特征和文本特征進行學習，獲得高層融合特征；

分類模塊，用于基于SVM在分類情感語料庫中將所述高層融合特征進行分類。

7.如權利要求6所述的系統，其特征在于，還包括構建模塊，具體用于：

采集原始藏文數據；

基于預設數據結構將所述原始藏文數據切分并處理為視頻數據、語音數據和文本數據；

對所述視頻數據、語音數據和文本數據進行情感類別標記后，存入分類情感語料庫。

8.如權利要求6所述的系統，其特征在于，所述提取模塊具體用于：

對所述視頻信號進行分幀處理后，將按照時序將相鄰兩幀圖像合并為一張幀圖像；

基于人臉識別算法對全部所述幀圖像進行人臉檢測以識別出人臉圖像；

對人臉圖像進行紋理特征提取，以獲得高層視頻特征。

9.如權利要求6所述的系統，其特征在于，所述提取模塊具體用于：

對所述語音信號進行預處理后，通過語音分析工具進行分析梅爾頻率倒譜的特征提取，以獲得高層語音特征。

10.如權利要求6所述的系統，其特征在于，所述處理模塊具體用于：

將同一藏文數據的高層視頻特征、高層語音特征和文本特征三種模態拼接為統一特征向量，以得出三模態的高層融合特征；以及，

通過自動編碼器算法將同一藏文數據對應的高層視頻特征與高層語音特征、高層視頻特征與文本特征、高層語音特征與文本特征兩種模態分別進行學習，以得出三種雙模態高層融合特征；

通過自動編碼器算法將同一藏文數據對應的高層視頻特征、高層語音特征和文本特征分別進行學習，以得出三種單模態高層融合特征；

所述高層融合特征包括一種三模態的高層融合特征、三種雙模態高層融合特征和三種單模態高層融合特征。