[發明專利]一種基于文本的情緒檢測方法和裝置、計算機設備和介質

在審

• 申請號: 202011373221.5
• 申請日: 2020-11-30
• 公開（公告）號: CN112597759A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 陳海波;羅志鵬;潘春光
• 申請（專利權）人: 深延科技（北京）有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F16/35;G06K9/62;G06N3/04
• 代理公司: 北京正理專利代理有限公司 11257
• 代理人: 張帆

本發明公開了一種基于文本的情緒檢測方法和裝置、計算機設備和介質，所述情緒檢測方法包括：將文本數據分別輸入已訓練的N個神經網絡語言模型并輸出N個情緒預測概率，每個神經網絡語言模型包括預訓練語言模型、第一全連接層和激活函數；將N個情緒預測概率進行融合得到所述文本數據的最終預測概率，其中所述N為大于等于2的自然數。本發明提供的實施例通過設置的多個神經網絡語言模型，利用各預訓練語言模型根據提取的不同特征進行預測生成多個情緒預測概率，對多個情緒預測概率進行融合獲得對輸入文本數據的最終預測概率，顯著提高預測能力，具有廣泛的應用前景。

技術領域

本發明涉及自然語言檢測技術領域，特別是涉及一種基于文本的情緒檢測方法和裝置、計算機設備和介質。

背景技術

隨著深度學習技術的高速發展，自然語言檢測領域也引入深度學習技術進行檢測，由于自然語言有時候通過一個詞或者一個句子表達情緒，而有的時候通過至少兩個句子表達高興、悲傷、嘲諷等情緒，因此通過一個詞或一個句子識別發聲者的情緒已經不能滿足實際需求，需要根據上下文或者當前對話的場景進行情緒檢測。然而，對比現有技術中對單個句子的情緒檢測，多輪對話的情緒檢測存在較大難度，因為不僅僅需要理解當前句子的意思，還需要理解當時的語境并與上下文句子進行結合才能進行檢測。

發明內容

為了解決上述問題至少之一，本發明第一方面提供一種基于文本的情緒檢測方法，包括：

將文本數據分別輸入已訓練的N個神經網絡語言模型并輸出N個情緒預測概率，每個神經網絡語言模型包括預訓練語言模型、第一全連接層和激活函數；

將N個情緒預測概率進行融合得到所述文本數據的最終預測概率，

其中所述N為大于等于2的自然數。

在本申請提供的一些實施例中，所述將文本數據分別輸入已訓練的N個神經網絡語言模型并輸出N個情緒預測概率進一步包括：

將所述文本數據輸入已訓練的第n神經網絡語言模型的預訓練語言模型并生成輸出向量；

將所述輸出向量輸入第一全連接層；

將該第一全連接層的輸出結果輸入至激活函數以輸出第n情緒預測概率；

其中，2≤n≤N。

在本申請提供的一些實施例中，所述將所述輸出向量輸入第一全連接層進一步包括：

將所述輸出向量輸入第一隨機失活層，經所述第一隨機失活層調優后輸入所述第一全連接層。

在本申請提供的一些實施例中，在將所述輸出向量輸入第一隨機失活層，經所述第一隨機失活層調優后輸入所述第一全連接層之后，所述方法還包括：

將所述第一全連接層的輸出結果輸入第二隨機失活層，經所述第二隨機失活層調優后輸入第二全連接層，將所述第二全連接層的輸出結果輸入至所述激活函數。

在本申請提供的一些實施例中，所述第一隨機失活層和第二隨機失活層的損失函數值分別被設置為0.3和0.1。

在本申請提供的一些實施例中，所述N個神經網絡語言模型的預訓練語言模型包括BERT模型、ROBERTA模型和ELECTRA模型中的至少兩個，

所述預訓練語言模型為BERT模型，所述將所述將文本數據輸入已訓練的第n神經網絡語言模型的預訓練語言模型并生成輸出向量進一步包括：將BERT模型中CLS位置處的輸出向量輸出至對應的第一全連接層；

所述預訓練語言模型為ROBERTA模型，所述將所述將文本數據輸入已訓練的第n神經網絡語言模型的預訓練語言模型并生成輸出向量進一步包括：將ROBERTA模型中CLS位置處的輸出向量輸出至對應的第一全連接層；