[發明專利]閱讀理解模型的訓練方法及裝置、閱讀理解方法及裝置

有效

• 申請號: 202110375810.5
• 申請日: 2021-04-08
• 公開（公告）號: CN112800186B
• 公開（公告）日: 2021-10-12
• 發明（設計）人: 潘璋;李長亮;李小龍
• 申請（專利權）人: 北京金山數字娛樂科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/289;G06K9/62
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

1.一種閱讀理解模型的訓練方法，其特征在于，所述方法包括：

通過閱讀理解模型的圖構建網絡層構建樣本文本片段和樣本答案的初始第一圖網絡，以及構建樣本問題和所述樣本答案的初始第二圖網絡，其中，通過將樣本文本分段或分句得到所述樣本文本片段，每個樣本文本的多個樣本文本片段均與該樣本文本對應的樣本問題以及樣本答案相對應；

將所述樣本文本片段、所述樣本問題和所述樣本答案輸入所述閱讀理解模型的文本處理層，分別為所述初始第一圖網絡和所述初始第二圖網絡包括的節點和邊添加注意力值，得到第一圖網絡和第二圖網絡；

將所述第一圖網絡和所述第二圖網絡輸入所述閱讀理解模型的圖卷積網絡層中，得到預測答案；

基于所述預測答案與所述樣本答案間的差值對所述閱讀理解模型進行訓練，直至達到訓練停止條件。

2.如權利要求1所述的閱讀理解模型的訓練方法，其特征在于，所述文本處理層包括特征提取層和注意力層，將所述樣本文本片段、所述樣本問題和所述樣本答案輸入所述閱讀理解模型的文本處理層，分別為所述初始第一圖網絡和所述初始第二圖網絡包括的節點和邊添加注意力值，得到第一圖網絡和第二圖網絡，包括：

將所述樣本文本片段、所述樣本問題和所述樣本答案輸入所述閱讀理解模型的特征提取層，分別獲得第一特征向量組、第二特征向量組和第三特征向量組；

將所述第一特征向量組、所述第二特征向量組和所述第三特征向量組輸入所述閱讀理解模型的注意力層，分別為所述初始第一圖網絡和所述初始第二圖網絡包括的節點和邊添加注意力值，得到第一圖網絡和第二圖網絡。

3.如權利要求2所述的閱讀理解模型的訓練方法，其特征在于，將所述樣本文本片段、所述樣本問題和所述樣本答案輸入所述閱讀理解模型的特征提取層，分別獲得第一特征向量組、第二特征向量組和第三特征向量組，包括：

對所述樣本文本片段、所述樣本問題和所述樣本答案進行分詞處理，分別得到第一詞單元組、第二詞單元組和第三詞單元組；

對所述第一詞單元組、所述第二詞單元組和所述第三詞單元組進行詞嵌入處理，分別得到第一詞向量組、第二詞向量組和第三詞向量組；

對所述第一詞向量組、所述第二詞向量組和所述第三詞向量組進行編碼，分別得到所述第一特征向量組、所述第二特征向量組和所述第三特征向量組。

4.如權利要求1所述的閱讀理解模型的訓練方法，其特征在于，所述通過閱讀理解模型的圖構建網絡層構建樣本文本片段和樣本答案的初始第一圖網絡，以及構建樣本問題和所述樣本答案的初始第二圖網絡，包括：

基于所述樣本文本片段中詞單元之間的依存關系構建初始第三圖網絡，以及基于所述樣本問題中詞單元之間的依存關系構建初始第四圖網絡；

基于所述初始第三圖網絡和所述樣本答案之間的關聯關系構建所述初始第一圖網絡，以及基于所述初始第四圖網絡和所述樣本答案之間的關聯關系構建所述初始第二圖網絡。

5.如權利要求4所述的閱讀理解模型的訓練方法，其特征在于，所述基于所述樣本文本片段中詞單元之間的依存關系構建初始第三圖網絡，包括：

以所述樣本文本片段中的詞單元為節點，得到多個節點；

基于所述樣本文本片段中詞單元之間的依存關系，將存在依存關系的節點相連，得到所述初始第三圖網絡。

6.如權利要求4或5所述的閱讀理解模型的訓練方法，其特征在于，所述基于所述初始第三圖網絡和所述樣本答案之間的關聯關系構建所述初始第一圖網絡，包括：

基于所述樣本答案中的詞單元與所述樣本文本片段中的詞單元之間的關聯關系，以所述樣本答案中的詞單元為目標節點，將所述目標節點與所述初始第三圖網絡中的節點相連，得到所述初始第一圖網絡。

7.如權利要求4所述的閱讀理解模型的訓練方法，其特征在于，所述基于所述樣本問題中詞單元之間的依存關系構建初始第四圖網絡，包括：

以所述樣本問題中的詞單元為節點，得到多個節點；

基于所述樣本問題中詞單元之間的依存關系，將存在依存關系的節點相連，得到所述初始第四圖網絡。