[發明專利]一種基于深度學習的語義相似度計算方法

有效

• 申請號: 201910620461.1
• 申請日: 2019-07-10
• 公開（公告）號: CN110348014B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 羅光春;秦科;惠孛;劉貴松;黃為
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/289;G06V10/74;G06F18/22;G06N3/0464;G06N3/0442;G06N3/045
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 賴林東

1.一種基于深度學習的語義相似度計算方法，其特征在于：包括如下步驟：

步驟1：構建訓練數據集，并預處理訓練數據獲取one-hot稀疏向量；

步驟2：構建包括N層BI-LSTM網絡、殘差網絡、相似度矩陣、CNN卷積神經網絡、池化層和全連接層的語義相似度計算網絡模型；

步驟3：將one-hot稀疏向量輸入上述語義相似度計算網絡模型，利用訓練數據集訓練所述網絡模型的參數，完成有監督訓練；

步驟4：將待測文本轉化為one-hot稀疏向量后，輸入已訓練的語義相似度計算網絡模型，判定是否為相似文本后輸出結果；

具體的，所述步驟2包括如下步驟：

步驟2.1：對兩個文本輸入分別建立Embedding層即詞向量嵌入層，將one-hot稀疏向量轉化為低維度詞向量X_E，如以下公式所示：

X_E＝X_O×W

其中，X_O為one-hot稀疏向量，維度為L×D_L，L為句子長度，D_L為詞典長度，W為可訓練的權重，維度為D_L×D，D為詞向量嵌入的維度；

步驟2.2：基于低維度詞向量構建深度特征提取網絡：構建兩個N層BI-LSTM網絡結構，在每一個BI-LSTM網絡中添加一個殘差網絡；

步驟2.3：構建相似度矩陣：對兩個N層BI-LSTM網絡的輸出做點積操作，構建相似度矩陣；

步驟2.4：構建特征提取網絡：在相似度矩陣后依次連接CNN卷積神經網絡、最大池化層和全連接神經網絡1；

步驟2.5：構建輸出網絡：基于步驟2.4的網絡依次連接一個全連接神經網絡2和softmax層；

所述步驟3包括如下步驟：

步驟3.1：初始化步驟2中所述深度學習語義相似度計算網絡的所有參數；

步驟3.2：將訓練集數據輸入到深度學習語義相似度計算網絡中獲得輸出；

步驟3.3：根據訓練集標簽和網絡輸出計算交叉熵損失函數值；

步驟3.4：將損失函數值進行反向傳播更新深度學習語義相似度計算網絡參數；

步驟3.5：反復迭代3.2至3.4，直至深度學習語義相似度計算網絡收斂，完成有監督訓練獲取深度學習語義相似度計算模型。

2.根據權利要求1所述的一種基于深度學習的語義相似度計算方法，其特征在于：所述步驟1包括如下步驟：

步驟1.1：對構建的訓練數據集的數據格式進行統一；

步驟1.2：刪除訓練數據集中缺失數據、無關數據的特殊符號和亂碼；

步驟1.3：對步驟1.2中的訓練數據集進行分詞和構建詞典后，根據詞語在詞典中的位置，將數據轉化為one-hot稀疏向量。

3.根據權利要求1所述的一種基于深度學習的語義相似度計算方法，其特征在于：所述步驟4包括如下步驟：

步驟4.1：將待測文本中的兩個文本轉化成one-hot稀疏向量；

步驟4.2：加載深度學習語義相似度計算模型，將one-hot稀疏向量輸入深度學習語義相似度計算模型獲得二分類概率輸出，取概率大值對應的類別作為預測結果。

4.根據權利要求1所述的一種基于深度學習的語義相似度計算方法，其特征在于：所述N為等于或者大于3的正整數。