[發(fā)明專利]一種文本信息預(yù)測模型的訓(xùn)練方法、裝置及設(shè)備

在審

• 申請?zhí)枺?/td>: 201811591243.1
• 申請日: 2018-12-25
• 公開（公告）號: CN110059152A
• 公開（公告）日: 2019-07-26
• 發(fā)明（設(shè)計(jì)）人: 梁山雪
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/332;G06N3/04;G06N3/08;G06N5/02
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

1.一種文本信息預(yù)測模型的訓(xùn)練方法，包括：

獲取訓(xùn)練樣本集合，每條訓(xùn)練樣本中包括文本內(nèi)容、問題文本和真實(shí)答案標(biāo)記序列，所述文本內(nèi)容中包含對問題和答案相關(guān)內(nèi)容的每個(gè)字符的標(biāo)記；

針對任一被選取的訓(xùn)練樣本，根據(jù)被選取的訓(xùn)練樣本中的文本內(nèi)容，生成文本全文表征向量，以及，根據(jù)被選取的訓(xùn)練樣本中的問題文本，生成問題表征向量；

根據(jù)所述文本全文表征向量和問題表征向量生成合并向量，作為被選取的訓(xùn)練樣本的特征值，所述真實(shí)答案標(biāo)記序列作為被選取的訓(xùn)練樣本的標(biāo)簽值，采用有監(jiān)督學(xué)習(xí)算法對訓(xùn)練樣本集合進(jìn)行訓(xùn)練，得到目標(biāo)預(yù)測模型；

所述目標(biāo)預(yù)測模型以根據(jù)文本全文表征向量和問題表征向量生成的合并向量作為輸入值，以預(yù)測答案標(biāo)記序列作為輸出值，預(yù)測答案標(biāo)記序列中每個(gè)標(biāo)記對應(yīng)一個(gè)字符。

2.如權(quán)利要求1所述的方法，所述文本內(nèi)容中包含對問題和答案相關(guān)內(nèi)容的每個(gè)字符的標(biāo)記，由如下方式預(yù)先生成：

確定訓(xùn)練樣本的文本內(nèi)容中關(guān)于問題和答案相關(guān)內(nèi)容以及其它內(nèi)容；

用不同的標(biāo)記記號分別標(biāo)記所述問題和答案相關(guān)內(nèi)容的起始字符、中間字符、結(jié)尾字符和其它內(nèi)容的字符。

3.如權(quán)利要求1所述的方法，根據(jù)被選取的訓(xùn)練樣本中的文本內(nèi)容，生成文本全文表征向量，包括：

將所述被選取的訓(xùn)練樣本中的文本內(nèi)容，按順序分成多個(gè)段落內(nèi)容；

編碼每個(gè)段落內(nèi)容，生成多個(gè)段落表征向量；

根據(jù)所述多個(gè)段落表征向量及其順序，生成文本全文表征向量。

4.如權(quán)利要求1所述的方法，根據(jù)所述文本全文表征向量和問題表征向量生成合并向量，包括：

拼接所述文本全文表征向量和問題表征向量，生成合并向量；

或者，將所述文本全文表征向量和問題表征向量作為一個(gè)全連接層的輸入，生成合并向量。

5.如權(quán)利要求1所述的方法，采用有監(jiān)督學(xué)習(xí)算法對訓(xùn)練樣本集合進(jìn)行訓(xùn)練，包括：

根據(jù)所述文本全文表征向量和問題表征向量，生成符合語義規(guī)則的預(yù)測答案標(biāo)記序列；

根據(jù)所述符合語義規(guī)則的預(yù)測答案標(biāo)記序列和真實(shí)答案標(biāo)記序列的差異，確定預(yù)測模型損失函數(shù)的損失值，以進(jìn)行模型訓(xùn)練。

6.一種基于權(quán)利要求1至5任一項(xiàng)所述文本信息預(yù)測模型的信息預(yù)測方法，包括：

獲取問題文本和包含問題的答案的文本內(nèi)容；

根據(jù)所述問題文本生成問題表征向量，以及，根據(jù)所述文本內(nèi)容生成文本全文表征向量；

根據(jù)文本全文表征向量和問題表征向量生成合并向量，作為所述文本信息預(yù)測模型的輸入特征值，以使所述文本信息預(yù)測模型確定預(yù)測答案標(biāo)記序列，并解碼所述預(yù)測答案標(biāo)記序列得到預(yù)測答案。

7.一種文本信息預(yù)測模型的訓(xùn)練裝置，包括：

獲取模塊，獲取訓(xùn)練樣本集合，每條訓(xùn)練樣本中包括文本內(nèi)容、問題文本和真實(shí)答案標(biāo)記序列，所述文本內(nèi)容中包含對問題和答案相關(guān)內(nèi)容的每個(gè)字符的標(biāo)記；

向量生成模塊，針對任一被選取的訓(xùn)練樣本，根據(jù)被選取的訓(xùn)練樣本中的文本內(nèi)容，生成文本全文表征向量，以及，根據(jù)被選取的訓(xùn)練樣本中的問題文本，生成問題表征向量；

訓(xùn)練模塊，根據(jù)所述文本全文表征向量和問題表征向量生成合并向量，作為被選取的訓(xùn)練樣本的特征值，所述真實(shí)答案標(biāo)記序列作為被選取的訓(xùn)練樣本的標(biāo)簽值，采用有監(jiān)督學(xué)習(xí)算法對訓(xùn)練樣本集合進(jìn)行訓(xùn)練，得到目標(biāo)預(yù)測模型；

所述目標(biāo)預(yù)測模型以根據(jù)文本全文表征向量和問題表征向量生成的合并向量作為輸入值，以預(yù)測答案標(biāo)記序列作為輸出值，預(yù)測答案標(biāo)記序列中每個(gè)標(biāo)記對應(yīng)一個(gè)字符。

8.如權(quán)利要求7所述的裝置，還包括標(biāo)記模塊，確定訓(xùn)練樣本的文本內(nèi)容中關(guān)于問題和答案相關(guān)內(nèi)容以及其它內(nèi)容；用不同的標(biāo)記記號分別標(biāo)記所述問題和答案相關(guān)內(nèi)容的起始字符、中間字符、結(jié)尾字符和其它內(nèi)容的字符。