[發明專利]基于深度學習的單輪對話數據分類方法、裝置和電子設備

有效

• 申請號: 201810644408.0
• 申請日: 2018-06-21
• 公開（公告）號: CN108959482B
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 楊鵬
• 申請（專利權）人: 北京慧聞科技（集團）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F16/33
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰

1.一種基于深度學習的單輪對話數據分類方法，包括：

對獲取的單輪對話數據進行詞向量轉化以獲得所述單輪對話數據的詞向量表示；

通過雙向長短期記憶層處理所述單輪對話數據的詞向量表示以獲得與所述單輪對話數據對應的隱狀態序列，雙向LSTM層包括兩個方向相反的LSTM神經網絡層，即，前向LSTM層和后向LSTM層，其中，前向LSTM層利用文本序列中每個詞完整的未來上下文信息，后向LSTM層利用文本序列中每個詞完整的過去上下文信息，前向LSTM層和后向LSTM層的隱含層之間沒有信息流；

以注意力機制層對所述隱狀態序列中的每個隱狀態進行加權求和以獲得與所述單輪對話數據對應的句子向量表達，包括：計算所述每個隱狀態的平均值以獲得臨時句子向量；基于每個隱狀態和所述臨時句子向量通過神經網絡計算每個隱狀態對應的權重；以及基于所述每個隱狀態對應的權重對所述隱狀態序列進行加權求和以獲得所述句子向量表達；以及

以用于分類的邏輯回歸模型處理所述句子向量表達以獲得所述單輪對話數據相對于所述邏輯回歸模型的多個標簽的概率分布，

其中，所述標簽是所述單輪對話數據所反映的用戶意圖，以及

對獲取的單輪對話數據進行詞向量轉化以獲得所述單輪對話數據的詞向量表示包括：對所述單輪對話數據進行實體識別以獲得所述單輪對話數據中每個詞對應的實體標簽；對所述單輪對話數據進行詞性標注以獲得所述單輪對話數據中每個詞對應的詞性標簽；將所述單輪對話數據中的每個詞及其實體標簽和詞性標簽進行向量轉化以獲得所述每個詞的詞向量矩陣、所述實體標簽的實體向量矩陣和所述詞性標簽的詞性向量矩陣；以及連接所述詞向量矩陣、所述實體向量矩陣以及所述詞性向量矩陣以獲得所述單輪對話數據的詞向量表示。

2.如權利要求1所述的基于深度學習的單輪對話數據分類方法，其中，在以用于分類的邏輯回歸模型處理所述句子向量表達以獲得所述單輪對話數據相對于所述邏輯回歸模型的多個標簽的概率分布之后進一步包括：

將與所述概率分布中最大概率對應的標簽確定為所述單輪對話數據的分類結果。

3.如權利要求1所述的基于深度學習的單輪對話數據分類方法，其中，

所述用于分類的邏輯回歸模型是Softmax回歸模型，以及

以用于分類的邏輯回歸模型處理所述句子向量表達以獲得所述單輪對話數據相對于所述邏輯回歸模型的多個標簽的概率分布包括：

計算所述句子向量表達乘以所述Softmax回歸模型的加權參數之積與偏置項之和作為所述句子向量表達屬于所述多個標簽中的特定標簽的證據；以及

將所述證據求和并進行歸一化以獲得所述句子向量表達被分類為所述特定標簽的概率。

4.如權利要求1所述的基于深度學習的單輪對話數據分類方法，其中，以所述單輪對話數據相對于所述標簽的概率的交叉熵作為分類損失函數調整深度學習模型中的可訓練參數。