[發(fā)明專利]問答模型的訓練方法、問答方法及裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210274307.5
• 申請日: 2022-03-18
• 公開（公告）號: CN114648021A
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計）人: 王斌;陳永錄;張飛燕;姜雨嬌
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 孫蕾

1.一種問答模型的訓練方法，包括：

獲取初始訓練樣本數(shù)據(jù)集，其中，所述初始訓練樣本數(shù)據(jù)集包括多組初始訓練樣本數(shù)據(jù)，每組所述初始訓練樣本數(shù)據(jù)包括初始問題文本和初始答案文本；

對所述初始訓練樣本數(shù)據(jù)集進行預處理，得到訓練樣本數(shù)據(jù)集，其中，所述訓練樣本數(shù)據(jù)集包括多組訓練樣本數(shù)據(jù)，每組所述訓練樣本數(shù)據(jù)包括問題文本序列數(shù)據(jù)和答案文本序列數(shù)據(jù)；以及

利用所述問題文本序列數(shù)據(jù)和所述答案文本序列數(shù)據(jù)訓練問答模型，得到經(jīng)訓練的問答模型。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述對所述初始訓練樣本數(shù)據(jù)集進行預處理，得到訓練樣本數(shù)據(jù)集包括：

對所述初始問題文本和所述初始答案文本進行去噪處理，得到去噪問題文本和去噪答案文本；

對所述去噪問題文本和所述去噪答案文本進行分詞處理，得到分詞問題文本和分詞答案文本；

對所述分詞問題文本和所述分詞答案文本進行關(guān)鍵詞提取，得到問題關(guān)鍵詞文本和答案關(guān)鍵詞文本；以及

對所述問題關(guān)鍵詞文本和所述答案關(guān)鍵詞文本進行詞嵌入處理，得到所述問題文本序列數(shù)據(jù)和所述答案文本序列數(shù)據(jù)。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述問答模型包括編碼器和解碼器；

所述利用所述問題文本序列數(shù)據(jù)和所述答案文本序列數(shù)據(jù)訓練問答模型，得到經(jīng)訓練的問答模型包括：

利用所述編碼器對所述問題文本序列數(shù)據(jù)進行處理，得到目標特征向量；

利用所述解碼器對所述目標特征向量進行處理，得到預測答案文本序列數(shù)據(jù)；以及

利用所述預測答案文本序列數(shù)據(jù)和所述答案文本序列數(shù)據(jù)訓練所述問答模型，得到經(jīng)訓練的問答模型。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述編碼器包括雙向門控循環(huán)單元層，所述雙向門控循環(huán)單元層包括多個基于恒等映射的雙向門控循環(huán)單元；

所述解碼器包括注意力層和單向門控循環(huán)單元層，所述單向門控循環(huán)單元層包括多個基于恒等映射的單向門控循環(huán)單元。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述利用所述編碼器對所述問題文本序列數(shù)據(jù)進行處理，得到目標特征向量包括：

利用所述雙向門控循環(huán)單元層對所述問題文本序列數(shù)據(jù)進行處理，得到目標特征向量；

所述利用所述解碼器對所述目標特征向量進行處理，得到預測答案文本序列數(shù)據(jù)包括：

利用所述注意力層對所述目標特征向量進行處理，得到中間特征向量；

利用所述單向門控循環(huán)單元層對所述中間特征向量進行處理，得到所述預測答案文本序列數(shù)據(jù)。

6.根據(jù)權(quán)利要求4或5所述的方法，其中，所述雙向門控循環(huán)單元和所述單向門控循環(huán)單元均使用線性整流激活函數(shù)；

所述利用所述雙向門控循環(huán)單元層對所述問題文本序列數(shù)據(jù)進行處理，得到目標特征向量包括：

利用批標準化算法對所述問題文本序列數(shù)據(jù)進行處理，得到批標準化問題文本序列數(shù)據(jù)；以及

利用所述雙向門控循環(huán)單元層對所述批標準化問題文本序列數(shù)據(jù)進行處理，得到目標特征向量；

所述利用所述單向門控循環(huán)單元層對所述中間特征向量進行處理，得到所述預測答案文本序列數(shù)據(jù)包括：

利用所述批標準化算法對所述中間特征向量進行處理，得到批標準化中間特征向量；以及

利用所述單向門控循環(huán)單元層對所述批標準化中間特征向量進行處理，得到預測答案文本序列數(shù)據(jù)。

7.一種問答方法，包括：

獲取初始問題文本；

對所述初始問題文本進行預處理，得到目標問題文本序列數(shù)據(jù)；以及

利用問答模型對所述目標問題文本序列數(shù)據(jù)進行處理，得到目標答案文本序列數(shù)據(jù)，

其中，所述問答模型是利用根據(jù)權(quán)利要求1至6中任一項所述的訓練方法得到的。