[發明專利]問答模型的訓練方法、問答方法及裝置、設備和存儲介質

在審

• 申請號: 202210274307.5
• 申請日: 2022-03-18
• 公開（公告）號: CN114648021A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 王斌;陳永錄;張飛燕;姜雨嬌
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 孫蕾

本公開提供了一種問答模型的訓練方法、問答方法及裝置、電子設備和計算機可讀存儲介質，可以應用于自然語言處理技術領域和金融領域。該問答模型的訓練方法包括：獲取初始訓練樣本數據集，其中，初始訓練樣本數據集包括多組初始訓練樣本數據，每組初始訓練樣本數據包括初始問題文本和初始答案文本；對初始訓練樣本數據集進行預處理，得到訓練樣本數據集，其中，訓練樣本數據集包括多組訓練樣本數據，每組訓練樣本數據包括問題文本序列數據和答案文本序列數據；利用問題文本序列數據和答案文本序列數據訓練問答模型，得到經訓練的問答模型。

技術領域

本公開涉及自然語言處理技術領域和金融領域，更具體地，涉及一種問答模型的訓練方法、問答方法及裝置、電子設備、計算機可讀存儲介質和一種計算機程序產品。

背景技術

隨著人工智能的發展，自然語言處理領域的問答技術能夠為用戶提供準確且個性化的信息服務。問答技術包括檢索式和生成式，其中，檢索式問答技術的獲取方式較為單一、效率較差、依賴于知識庫；而生成式問答技術能夠快速準確地提供答案。

在實現本公開構思的過程中，發明人發現相關技術中至少存在如下問題：生成式問答技術的特征提取方法隨著網絡深度的增加，訓練精度在達到飽和后會迅速下降；同時短文本詞匯量較小、噪聲較大、特征較為稀疏，并且文本特征的提取方式較為單一。

發明內容

有鑒于此，本公開提供了一種問答模型的訓練方法、問答方法及裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

根據本公開的第一個方面，提供了一種問答模型的訓練方法，包括：

獲取初始訓練樣本數據集，其中，上述初始訓練樣本數據集包括多組初始訓練樣本數據，每組上述初始訓練樣本數據包括初始問題文本和初始答案文本；

對上述初始訓練樣本數據集進行預處理，得到訓練樣本數據集，其中，上述訓練樣本數據集包括多組訓練樣本數據，每組上述訓練樣本數據包括問題文本序列數據和答案文本序列數據；以及

利用上述問題文本序列數據和上述答案文本序列數據訓練問答模型，得到經訓練的問答模型。

根據本公開的實施例，上述對上述初始訓練樣本數據集進行預處理，得到訓練樣本數據集包括：

對上述初始問題文本和上述初始答案文本進行去噪處理，得到去噪問題文本和去噪答案文本；

對上述去噪問題文本和上述去噪答案文本進行分詞處理，得到分詞問題文本和分詞答案文本；

對上述分詞問題文本和上述分詞答案文本進行關鍵詞提取，得到問題關鍵詞文本和答案關鍵詞文本；以及

對上述問題關鍵詞文本和上述答案關鍵詞文本進行詞嵌入處理，得到上述問題文本序列數據和上述答案文本序列數據。

根據本公開的實施例，上述問答模型包括編碼器和解碼器；

上述利用上述問題文本序列數據和上述答案文本序列數據訓練問答模型，得到經訓練的問答模型包括：

利用上述編碼器對上述問題文本序列數據進行處理，得到目標特征向量；

利用上述解碼器對上述目標特征向量進行處理，得到預測答案文本序列數據；以及

利用上述預測答案文本序列數據和上述答案文本序列數據訓練上述問答模型，得到經訓練的問答模型。

根據本公開的實施例，上述編碼器包括雙向門控循環單元層，上述雙向門控循環單元層包括多個基于恒等映射的雙向門控循環單元；

上述解碼器包括注意力層和單向門控循環單元層，上述單向門控循環單元層包括多個基于恒等映射的單向門控循環單元。