[發(fā)明專利]基于深度學(xué)習(xí)的答案生成方法、電子裝置及可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010046149.9
• 申請(qǐng)日: 2020-01-16
• 公開(kāi)（公告）號(hào): CN111241304A
• 公開(kāi)（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 曹辰捷;徐國(guó)強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F16/36
• 分類(lèi)號(hào): G06F16/36;G06F40/211;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 深圳市沃德知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

本發(fā)明涉及智能決策技術(shù)領(lǐng)域，揭露了一種基于深度學(xué)習(xí)的答案生成方法，該方法包括：將句子樣本輸入預(yù)設(shè)語(yǔ)言模型進(jìn)行掩蓋詞預(yù)測(cè)的訓(xùn)練以確定所述預(yù)設(shè)語(yǔ)言模型的結(jié)構(gòu)參數(shù)，將正、負(fù)文本樣本輸入已確定結(jié)構(gòu)參數(shù)的預(yù)設(shè)語(yǔ)言模型進(jìn)行句子位置預(yù)測(cè)的訓(xùn)練以確定所述預(yù)設(shè)語(yǔ)言模型的句子位置權(quán)重參數(shù)，得到目標(biāo)語(yǔ)言模型，將目標(biāo)文本和目標(biāo)問(wèn)題分詞處理及向量化處理后輸入所述目標(biāo)語(yǔ)言模型，得到目標(biāo)問(wèn)題對(duì)應(yīng)的答案。本發(fā)明還提出一種電子裝置以及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明解決了文本閱讀理解應(yīng)用時(shí)所生成的答案精確度不夠高的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及智能決策技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的答案生成方法、電子裝置及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

自然語(yǔ)言處理(Natural Language Processing，NLP)是當(dāng)前人工智能重要的一部分，文本閱讀理解作為自然語(yǔ)言處理領(lǐng)域的一個(gè)重要課題也受到了廣泛的關(guān)注，文本閱讀理解的目的在于從長(zhǎng)文本中找到精確的答案。

文本閱讀理解能夠快速發(fā)展，很大程度上要?dú)w功于對(duì)語(yǔ)言模型預(yù)訓(xùn)練來(lái)實(shí)現(xiàn)遷移學(xué)習(xí)，谷歌于2018年10月推出了一種預(yù)訓(xùn)練模型---雙向注意力神經(jīng)網(wǎng)絡(luò)模型(Bidirectional Encoder Representation from Transformer，BERT)，該模型在文本閱讀理解和文本分類(lèi)等多項(xiàng)應(yīng)用上取得了極大突破。但對(duì)于文本閱讀理解來(lái)說(shuō)，BERT模型的預(yù)訓(xùn)練任務(wù)為下句預(yù)測(cè)，下句預(yù)測(cè)是根據(jù)問(wèn)題與文本中的一些重復(fù)相近詞或者根據(jù)embedding(詞嵌入)中具有強(qiáng)匹配度的詞匯直接做出的選擇，這種只學(xué)習(xí)一些特定規(guī)則的方法在短數(shù)據(jù)集上容易導(dǎo)致過(guò)擬合。同時(shí)，BERT模型為了能夠處理足夠長(zhǎng)的文本，上下句的長(zhǎng)度總和大部分都接近512個(gè)tokens(詞單元，對(duì)輸入文本進(jìn)行處理前，需要將其分割成諸如詞、標(biāo)點(diǎn)符號(hào)、數(shù)字或純字母數(shù)字等語(yǔ)言單元，所述單元被稱為token)，這就使得下句預(yù)測(cè)任務(wù)僅簡(jiǎn)單地依據(jù)上、下句詞匯是否屬于同一領(lǐng)域來(lái)做出判斷，而不需要確認(rèn)句子級(jí)別的因果、轉(zhuǎn)折等關(guān)系。因此，現(xiàn)有技術(shù)中，文本閱讀理解應(yīng)用時(shí)所生成的答案精確度不夠高。

發(fā)明內(nèi)容

鑒于以上內(nèi)容，有必要提供一種基于深度學(xué)習(xí)的答案生成方法，旨在解決文本閱讀理解應(yīng)用時(shí)所生成的答案精確度不夠高的問(wèn)題。

本發(fā)明提供的基于深度學(xué)習(xí)的答案生成方法，包括：

第一訓(xùn)練步驟：從語(yǔ)料庫(kù)抽取句子樣本進(jìn)行第一預(yù)處理，得到所述句子樣本對(duì)應(yīng)的目標(biāo)詞語(yǔ)序列中每個(gè)詞語(yǔ)的詞向量，將所述句子樣本對(duì)應(yīng)的目標(biāo)詞語(yǔ)序列中每個(gè)詞語(yǔ)的詞向量輸入預(yù)設(shè)語(yǔ)言模型進(jìn)行掩蓋詞預(yù)測(cè)的訓(xùn)練，以確定所述預(yù)設(shè)語(yǔ)言模型的結(jié)構(gòu)參數(shù)；

第二訓(xùn)練步驟：從所述語(yǔ)料庫(kù)抽取正、負(fù)文本樣本進(jìn)行第二預(yù)處理，得到所述正、負(fù)文本樣本對(duì)應(yīng)的目標(biāo)詞語(yǔ)序列中每個(gè)詞語(yǔ)的詞向量，將所述正、負(fù)文本樣本對(duì)應(yīng)的目標(biāo)詞語(yǔ)序列中每個(gè)詞語(yǔ)的詞向量輸入所述已確定結(jié)構(gòu)參數(shù)的預(yù)設(shè)語(yǔ)言模型進(jìn)行句子位置預(yù)測(cè)的訓(xùn)練，以確定所述預(yù)設(shè)語(yǔ)言模型的句子位置權(quán)重參數(shù)，得到目標(biāo)語(yǔ)言模型；

答案生成步驟：接收用戶提交的目標(biāo)文本和目標(biāo)問(wèn)題，對(duì)所述目標(biāo)文本和目標(biāo)問(wèn)題進(jìn)行分詞處理及詞向量化處理后輸入所述目標(biāo)語(yǔ)言模型，得到所述目標(biāo)文本中每個(gè)詞語(yǔ)分別作為所述目標(biāo)問(wèn)題的答案起點(diǎn)和答案終點(diǎn)的概率，確定所述目標(biāo)問(wèn)題對(duì)應(yīng)的答案。

可選的，所述第一預(yù)處理包括：

采用sentence piece算法將所述句子樣本進(jìn)行分詞，得到所述句子樣本對(duì)應(yīng)的第一詞語(yǔ)序列；

對(duì)所述第一詞語(yǔ)序列添加句首標(biāo)識(shí)符、句末標(biāo)識(shí)符，得到所述句子樣本對(duì)應(yīng)的第二詞語(yǔ)序列；

將所述第二詞語(yǔ)序列中第一預(yù)設(shè)百分比的詞語(yǔ)進(jìn)行掩蓋，得到所述句子樣本對(duì)應(yīng)的目標(biāo)詞語(yǔ)序列；

計(jì)算所述句子樣本對(duì)應(yīng)的目標(biāo)詞語(yǔ)序列中每個(gè)詞語(yǔ)的初始向量、位置向量，并將所述初始向量與位置向量相加，得到所述句子樣本對(duì)應(yīng)的目標(biāo)詞語(yǔ)序列中每個(gè)詞語(yǔ)的詞向量。