[發明專利]情緒識別方法、裝置、設備及存儲介質

有效

• 申請號: 201811184355.5
• 申請日: 2018-10-11
• 公開（公告）號: CN109472207B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 查月閱;陶進芳
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06V20/40;G06V10/764;G06F16/35;G06F40/30;G06F40/284;G10L25/63
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 譚果林

1.一種情緒識別方法，其特征在于，所述情緒識別方法包括：

獲取源文件，其中，所述源文件包括音頻數據，以及與所述音頻數據相對應的視頻圖像數據；

對所述音頻數據進行數據轉換處理，得到N個音頻文字信息和每個所述音頻文字信息對應的語速信息，其中，N為大于等于1的正整數，每個所述音頻文字信息對應一個文字時間段；

從所述視頻圖像數據中提取每個所述文字時間段對應的切分圖像數據；

按照預設的選取方式，在每個所述切分圖像數據中選取一幀圖像進行圖像預處理，得到N個二值化圖像；

分別對每個所述音頻文字信息和每個所述音頻文字信息對應的語速信息進行情緒分析，并根據所述音頻文字信息對應的情緒分析結果和所述語速信息對應的情緒分析結果的合集，確定每個所述音頻文字信息對應的情緒名詞，得到N個所述情緒名詞；

對每個所述二值化圖像進行情緒識別，確定每個所述二值化圖像對應的情緒標簽，得到N個所述情緒標簽；

將N個所述情緒名詞和N個所述情緒標簽進行匯總，按照預設的統計方式，統計屬于同一情緒類型的情緒名詞和情緒標簽的數量，并根據統計得到的數據確定所述源文件對應的情緒類型和所述情緒類型的分數，并將確定的所述情緒類型和所述分數作為所述源文件的情緒識別結果。

2.如權利要求1所述的情緒識別方法，其特征在于，所述文字時間段包括時間起始點和時間終止點，所述對所述音頻數據進行數據轉換處理，得到N個音頻文字信息和每個所述音頻文字信息對應的語速信息包括：

對所述音頻數據進行解碼分析，得到所述音頻數據對應的文字和每個所述文字對應的時間點；

按照所述時間點的先后順序，計算每兩個相鄰的所述時間點之間的差值，若所述差值大于或等于預設的靜音閾值，則將所述差值對應的兩個相鄰的時間點分別確定為靜音時間戳的靜音起始點和靜音終止點；

在每兩個相鄰靜音時間戳中，將后一個靜音時間戳的靜音起始點減去前一個靜音時間戳的靜音終止點，得到的差作為所述文字時間段，并將所述前一個靜音時間戳的靜音終止點作為所述文字時間段的時間起始點，將所述后一個靜音時間戳的靜音起始點作為所述文字時間段的時間終止點；

將每個所述文字時間段中的文字，作為所述文字時間段對應的所述音頻文字信息；

統計每個所述音頻文字信息中包含的文字的數量，并將所述音頻文字信息中包含的文字的數量與所述音頻文字信息對應的所述文字時間段之間的商，作為所述音頻文字信息對應的所述語速信息。

3.如權利要求1所述的情緒識別方法，其特征在于，所述按照預設的選取方式，在每個所述切分圖像數據中選取一幀圖像進行圖像預處理，得到N個二值化圖像包括：

針對每個所述切分圖像數據，在所述切分圖像數據中隨機提取一幀圖像進行灰度化處理，得到每個所述切分圖像數據對應的灰化圖像；

對每個所述灰化圖像進行二值化處理，得到N個二值化圖像。

4.如權利要求1所述的情緒識別方法，其特征在于，所述分別對每個所述音頻文字信息和每個所述音頻文字信息對應的語速信息進行情緒分析，并根據所述音頻文字信息對應的情緒分析結果和所述語速信息對應的情緒分析結果的合集，確定每個所述音頻文字信息對應的情緒名詞，得到N個所述情緒名詞包括：

對每個所述音頻文字信息進行分詞處理，得到每個所述音頻文字信息對應的文字單詞；

根據預設的情緒單詞，將每個所述音頻文字信息對應的文字單詞與所述情緒單詞進行匹配，并將匹配成功的所述文字單詞確定為所述音頻文字信息對應的文字情緒詞；

根據情緒閾值范圍與情緒詞之間預設的對應關系，獲取每個所述語速信息屬于的情緒閾值范圍對應的情緒詞，并將獲取到的情緒詞作為所述語速信息對應的語速情緒詞；

統計每個所述音頻文字信息對應的文字情緒詞和每個所述音頻文字信息對應的所述語速信息所對應的語速情緒詞中，屬于同一情緒類型的文字情緒詞和語速情緒詞的詞匯數量，并將詞匯數量最多的情緒類型確定為所述音頻文字信息對應的所述情緒名詞，得到N個所述情緒名詞。