[發明專利]描述文本生成模型的訓練方法和裝置

有效

• 申請號: 201910541625.1
• 申請日: 2019-06-21
• 公開（公告）號: CN110377902B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 李法遠;陳思姣;羅雨
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F18/214;G06N3/08
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

1.一種描述文本生成模型的訓練方法，其特征在于，該方法包括：

獲取訓練數據，訓練數據包括：結構化數據以及各組結構化數據對應的參考描述文本；

利用預先訓練得到的關系提取模型，對訓練數據進行預處理，得到參考描述文本對應的數據序列；

利用結構化數據以及參考描述文本對應的數據序列，訓練第一序列到序列seq2seq模型；利用第一seq2seq模型輸出的第一數據序列和參考描述文本，訓練第二seq2seq模型；

利用訓練完成的第一seq2seq模型和第二seq2seq模型，得到描述文本生成模型，描述文本生成模型用于針對輸入的結構化數據生成描述文本；其中，

利用訓練完成的第一seq2seq模型和第二seq2seq模型，得到描述文本生成模型包括：

由訓練完成的第一seq2seq模型和第二seq2seq模型中去除第二解碼器的部分構成描述文本生成模型。

2.根據權利要求1所述的方法，其特征在于，所述第二seq2seq模型包括第一解碼器和第二解碼器；

第一解碼器用于將編碼器針對第一數據序列生成的中間向量，輸出描述文本；第二解碼器用于將第一解碼器對中間向量生成的隱層向量進行重構解碼，生成第二數據序列；

訓練目標為：最小化第一數據序列與參考描述文本對應的數據序列之間的差異、第一解碼器輸出的描述文本與參考描述文本之間的差異以及第二數據序列與參考描述文本對應的數據序列之間的差異。

3.根據權利要求1的方法，其特征在于，獲取訓練數據包括：

從數據源獲取結構化數據，并獲取針對結構化數據人工標注的參考描述文本；或者，

從數據源獲取參考描述文本，并獲取針對參考描述文本人工標注的結構化數據；或者，

從數據源獲取結構化數據以及該結構化數據對應的參考描述文本。

4.根據權利要求1的方法，其特征在于，所述結構化數據包括各數據記錄，所述數據記錄包括實體、實體值以及關系標簽；

所述對訓練數據進行預處理，得到參考描述文本對應的數據序列包括：

將結構化數據與其對應的參考描述文本進行匹配對齊，其中若參考描述文本中的句子包括數據記錄中的實體詞和實體值，則確認該數據記錄與該句子匹配對齊；

依據匹配對齊的結果確定參考描述文本對應的數據序列。

5.根據權利要求4的方法，其特征在于，依據匹配對齊的結果確定參考描述文本對應的數據序列包括：

將匹配對齊的句子分別輸入預先訓練得到的關系提取模型，得到各句子對應的關系標簽；

若句子對應的關系標簽與該句子對齊的數據記錄中的標簽一致，則保留該句子對應的數據記錄；否則，利用關系提取模型生成的關系標簽修改該句子對應的數據記錄；

將參考描述文本最終得到的各數據記錄構成參考描述文本對應的數據序列。

6.根據權利要求5的方法，其特征在于，關系提取模型采用以下方式訓練得到：

獲取包括文本句和對應關系標簽的訓練數據，文本句包括實體和實體值；

將文本句作為輸入、對應關系標簽作為輸出訓練分類模型，得到關系提取模型。

7.根據權利要求2的方法，其特征在于，第一seq2seq模型中采用注意力機制對編碼器針對結構化數據生成的中間向量進行加權處理；

第二seq2seq模型中采用注意力機制和拷貝機制對編碼器針對第一數據序列生成的中間向量進行加權和拷貝處理，或者采用注意力機制對編碼器針對第一數據序列生成的中間向量進行加權處理。

8.根據權利要求2的方法，其特征在于，該方法還包括：

對第二解碼器的損失函數進行正則化平滑處理。

9.根據權利要求2的方法，其特征在于，利用訓練完成的第一seq2seq模型和第二seq2seq模型，得到描述文本生成模型包括：

由訓練完成的第一seq2seq模型和第二seq2seq模型構成描述文本生成模型。