[發(fā)明專(zhuān)利]基于大數(shù)據(jù)的答案位置獲取方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010037661.7
• 申請(qǐng)日: 2020-01-14
• 公開(kāi)（公告）號(hào): CN111241244A
• 公開(kāi)（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 陳楨博;金戈;徐亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F16/33
• 分類(lèi)號(hào): G06F16/33;G06F16/332
• 代理公司: 深圳眾鼎專(zhuān)利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 張美君

本發(fā)明公開(kāi)了一種基于大數(shù)據(jù)的答案位置獲取方法，包括：執(zhí)行向量化，得到待處理的文本信息對(duì)應(yīng)的詞向量和問(wèn)題信息對(duì)應(yīng)的詞向量；通過(guò)Bi?LSTM網(wǎng)絡(luò)對(duì)所述問(wèn)題信息對(duì)應(yīng)的詞向量進(jìn)行特征提取及壓縮維度，得到問(wèn)題編碼信息；對(duì)文本信息中的每一個(gè)詞向量添加位置向量和所述問(wèn)題編碼信息，得到文本編碼信息；通過(guò)預(yù)設(shè)的多層卷積層對(duì)所述文本編碼信息進(jìn)行特征提取，得到文本編碼信息對(duì)應(yīng)的文本特征信息；通過(guò)Bi?LSTM網(wǎng)絡(luò)對(duì)所述文本特征信息進(jìn)行序列標(biāo)注，得到文本信息中每一個(gè)詞的第一概率與第二概率；獲取第一概率最大值對(duì)應(yīng)的詞作為答案開(kāi)始位置和第二概率最大值對(duì)應(yīng)的詞作為答案結(jié)束位置。本發(fā)明解決了現(xiàn)有問(wèn)答模型的參數(shù)量大、算法訓(xùn)練耗時(shí)長(zhǎng)的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種基于大數(shù)據(jù)的答案位置獲取方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

現(xiàn)有的問(wèn)答模型主要通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)或者較為復(fù)雜的深度學(xué)習(xí)語(yǔ)言模型實(shí)現(xiàn)。然而，循環(huán)神經(jīng)網(wǎng)絡(luò)的算法精度有限，模型無(wú)法進(jìn)行并行計(jì)算，從而需要較長(zhǎng)的訓(xùn)練耗時(shí)。盡管深度學(xué)習(xí)語(yǔ)言模型允許并行計(jì)算，也已經(jīng)能夠取得較高的精度，但是由于語(yǔ)言模型能夠應(yīng)對(duì)多種自然語(yǔ)言處理任務(wù)，模型結(jié)構(gòu)復(fù)雜且參數(shù)量較為龐大，同樣需要較長(zhǎng)的訓(xùn)練耗時(shí)?？梢?jiàn)，不管是基于循環(huán)神經(jīng)網(wǎng)絡(luò)還是深度學(xué)習(xí)語(yǔ)言模型的問(wèn)答模型，都存在算法訓(xùn)練耗時(shí)較長(zhǎng)的缺點(diǎn)，無(wú)法構(gòu)建輕量化的問(wèn)答模型。

因此，尋找一種解決現(xiàn)有問(wèn)答模型的參數(shù)量大、算法訓(xùn)練耗時(shí)長(zhǎng)的方法成為本領(lǐng)域技術(shù)人員亟需解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種基于大數(shù)據(jù)的答案位置獲取方法、裝置、設(shè)備及介質(zhì)，以解決現(xiàn)有問(wèn)答模型的參數(shù)量大、算法訓(xùn)練耗時(shí)長(zhǎng)的問(wèn)題。

一種基于大數(shù)據(jù)的答案位置獲取方法，包括：

獲取待處理的文本信息和問(wèn)題信息，分別對(duì)所述文本信息和問(wèn)題信息中的每一個(gè)詞執(zhí)行向量化，得到所述文本信息對(duì)應(yīng)的詞向量和問(wèn)題信息對(duì)應(yīng)的詞向量；

通過(guò)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)Bi-LSTM對(duì)所述問(wèn)題信息對(duì)應(yīng)的詞向量進(jìn)行特征提取，并對(duì)提取得到的多維特征矩陣壓縮至預(yù)設(shè)維度，得到問(wèn)題編碼信息；

對(duì)文本信息中的每一個(gè)詞向量添加位置向量和所述問(wèn)題編碼信息，得到所述文本信息對(duì)應(yīng)的文本編碼信息；

通過(guò)預(yù)設(shè)的多層卷積層對(duì)所述文本編碼信息進(jìn)行特征提取，得到所述文本信息對(duì)應(yīng)的文本特征信息；

通過(guò)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)Bi-LSTM對(duì)所述文本特征信息進(jìn)行序列標(biāo)注，得到文本信息中每一個(gè)詞的第一概率與第二概率；

獲取第一概率最大值對(duì)應(yīng)的詞作為答案開(kāi)始位置和第二概率最大值對(duì)應(yīng)的詞作為答案結(jié)束位置。

進(jìn)一步地，所述通過(guò)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)Bi-LSTM對(duì)所述問(wèn)題信息對(duì)應(yīng)的詞向量進(jìn)行特征提取，并對(duì)提取得到的多維特征矩陣壓縮至預(yù)設(shè)維度，得到問(wèn)題編碼信息包括：

通過(guò)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)Bi-LSTM對(duì)所述問(wèn)題信息對(duì)應(yīng)的詞向量進(jìn)行特征提取，得到m*n維特征矩陣；

通過(guò)加性注意力機(jī)制，將所述m*n維特征矩陣壓縮至1*n維特征矩陣；

通過(guò)預(yù)設(shè)的全連接層，將所述1*n維特征矩轉(zhuǎn)化為1*k維特征矩陣，以所述1*k維特征矩陣作為問(wèn)題編碼信息。

進(jìn)一步地，所述對(duì)文本信息中的每一個(gè)詞向量添加位置向量和所述問(wèn)題編碼信息，得到所述文本信息對(duì)應(yīng)的文本編碼信息包括：

對(duì)文本信息中的每一個(gè)詞向量，通過(guò)預(yù)設(shè)的正弦函數(shù)和余弦函數(shù)生成所述詞向量對(duì)應(yīng)的位置向量；

將所述位置向量、問(wèn)題編碼信息依次添加至所述詞向量之后，得到所述詞向量對(duì)應(yīng)的文本編碼信息。

進(jìn)一步地，所述通過(guò)預(yù)設(shè)的多層卷積層對(duì)所述文本編碼信息進(jìn)行特征提取，得到所述文本信息對(duì)應(yīng)的文本特征信息包括：