[發明專利]一種文本信息預測模型的訓練方法、裝置及設備

在審

• 申請號: 201811591243.1
• 申請日: 2018-12-25
• 公開（公告）號: CN110059152A
• 公開（公告）日: 2019-07-26
• 發明（設計）人: 梁山雪
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/332;G06N3/04;G06N3/08;G06N5/02
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

公開了一種文本信息預測模型的訓練方法、裝置及設備。本說明書實施例所提供的方案，使用機器閱讀理解技術，基于文本內容和答案本身的共同特征進行模型訓練，得到目標模型。使用該模型時，只需輸入問題文本和文本內容，即可從文本內容中預測得到該問題的答案。

技術領域

本說明書實施例涉及信息技術領域，尤其涉及一種文本信息預測模型的訓練方法、裝置及設備。

背景技術

在機器閱讀理解中，用戶可以輸入一段非結構化文本(包括合同、使用說明以及幫助說明等等)及一個問題，機器自動在閱讀理解的基礎上，從文本中抽取信息來回答該問題。

傳統的信息抽取中，一般基于預設規則和序列進行。以抽取合同中的信息為例，基于規則的方法會編寫類似“甲方：A公司”這樣的規則，在用戶在輸入“甲方是誰”和合同全文之后，從合同全文中匹配出現在“甲方：”后面的公司名(A公司)，作為甲方公司。在這種方式下，對規則的覆蓋程度要求很高，并且后期難以對規則進行維護。由于合同的寫法存在多樣性，很難用規則完整的覆蓋所有情況。以及，如果在甲方出現在段首，而公司名出現在段尾，同時存在其他公司的干擾，則很難正確抽取。

基于此，需要一種更便利的文本信息預測模型，以得到準確率更高的文本信息預測模型。

發明內容

針對現有信息抽取中規則難以維護以及準確率太低的問題，為實現更便利以及準確的信息抽取方案，第一方面，本說明書實施例提供一種文本信息預測模型的訓練方法，包括：

獲取訓練樣本集合，每條訓練樣本中包括文本內容、問題文本和真實答案標記序列，所述文本內容中包含對問題和答案相關內容的每個字符的標記；

針對任一被選取的訓練樣本，根據被選取的訓練樣本中的文本內容，生成文本全文表征向量，以及，根據被選取的訓練樣本中的問題文本，生成問題表征向量；

根據所述文本全文表征向量和問題表征向量生成合并向量，作為被選取的訓練樣本的特征值，所述真實答案標記序列作為被選取的訓練樣本的標簽值，采用有監督學習算法對訓練樣本集合進行訓練，得到目標預測模型；

所述目標預測模型以根據文本全文表征向量和問題表征向量生成的合并向量作為輸入值，以預測答案標記序列作為輸出值，預測答案標記序列中每個標記對應一個字符。

第二方面，本說明書實施例提供一種基于上述文本信息預測模型的信息預測方法，包括：

獲取問題文本和包含問題的答案的文本內容；

根據所述問題文本生成問題表征向量，以及，根據所述文本內容生成文本全文表征向量；

根據文本全文表征向量和問題表征向量生成合并向量，作為所述文本信息預測模型的輸入特征值，以使所述文本信息預測模型確定預測答案標記序列，并解碼所述預測答案標記序列得到預測答案。

與第一方面對應的，本說明書實施例還提供一種文本信息預測模型的訓練裝置，包括：

獲取模塊，獲取訓練樣本集合，每條訓練樣本中包括文本內容、問題文本和真實答案標記序列，所述文本內容中包含對問題和答案相關內容的每個字符的標記；

向量生成模塊，針對任一被選取的訓練樣本，根據被選取的訓練樣本中的文本內容，生成文本全文表征向量，以及，根據被選取的訓練樣本中的問題文本，生成問題表征向量；

訓練模塊，根據所述文本全文表征向量和問題表征向量生成合并向量，作為被選取的訓練樣本的特征值，所述真實答案標記序列作為被選取的訓練樣本的標簽值，采用有監督學習算法對訓練樣本集合進行訓練，得到目標預測模型；

所述目標預測模型以根據文本全文表征向量和問題表征向量生成的合并向量作為輸入值，以預測答案標記序列作為輸出值，預測答案標記序列中每個標記對應一個字符。