[發(fā)明專(zhuān)利]一種閱讀理解模型構(gòu)建方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110323266.X
• 申請(qǐng)日: 2021-03-26
• 公開(kāi)（公告）號(hào): CN112711938B
• 公開(kāi)（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 呂向楠
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京沃豐時(shí)代數(shù)據(jù)科技有限公司
• 主分類(lèi)號(hào): G06F40/205
• 分類(lèi)號(hào): G06F40/205;G06N20/00
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王宇楊

1.一種閱讀理解模型構(gòu)建方法，其特征在于，包括：

根據(jù)第一領(lǐng)域場(chǎng)景數(shù)據(jù)集，得到第一領(lǐng)域場(chǎng)景的訓(xùn)練集；

根據(jù)所述第一領(lǐng)域場(chǎng)景的訓(xùn)練集，對(duì)通用閱讀理解模型做二次訓(xùn)練，得到所述第一領(lǐng)域場(chǎng)景的專(zhuān)用閱讀理解模型；

所述通用閱讀理解模型為根據(jù)通用領(lǐng)域場(chǎng)景數(shù)據(jù)集預(yù)先訓(xùn)練深度學(xué)習(xí)模型得到的；

所述通用領(lǐng)域場(chǎng)景數(shù)據(jù)集是多領(lǐng)域場(chǎng)景閱讀理解樣本經(jīng)過(guò)數(shù)據(jù)標(biāo)注后的數(shù)據(jù)集合；

所述多領(lǐng)域場(chǎng)景閱讀理解樣本包括問(wèn)題、文檔、答案以及問(wèn)題與答案所對(duì)應(yīng)的文檔位置；

所述根據(jù)第一領(lǐng)域場(chǎng)景數(shù)據(jù)集，得到第一領(lǐng)域場(chǎng)景的訓(xùn)練集，包括：

確定不存在與所述第一領(lǐng)域場(chǎng)景數(shù)據(jù)的領(lǐng)域場(chǎng)景類(lèi)別相同的已有領(lǐng)域場(chǎng)景數(shù)據(jù)集，則將所述第一領(lǐng)域場(chǎng)景數(shù)據(jù)作為所述第一領(lǐng)域場(chǎng)景的訓(xùn)練集；

將所述第一領(lǐng)域場(chǎng)景數(shù)據(jù)集加入到已有的領(lǐng)域場(chǎng)景數(shù)據(jù)中。

2.根據(jù)權(quán)利要求1所述的閱讀理解模型構(gòu)建方法，其特征在于，所述根據(jù)第一領(lǐng)域場(chǎng)景數(shù)據(jù)集，得到第一領(lǐng)域場(chǎng)景的訓(xùn)練集，包括：

確定所述第一領(lǐng)域場(chǎng)景數(shù)據(jù)集的領(lǐng)域場(chǎng)景類(lèi)別與第二領(lǐng)域場(chǎng)景數(shù)據(jù)集的領(lǐng)域場(chǎng)景類(lèi)別相同，則將所述第一領(lǐng)域場(chǎng)景數(shù)據(jù)集與第二領(lǐng)域場(chǎng)景數(shù)據(jù)集合并，得到所述第一領(lǐng)域場(chǎng)景的訓(xùn)練集；其中，所述第二領(lǐng)域場(chǎng)景數(shù)據(jù)集為已有的領(lǐng)域場(chǎng)景數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的閱讀理解模型構(gòu)建方法，其特征在于，所述通用閱讀理解模型的獲取步驟包括：

獲取通用領(lǐng)域場(chǎng)景數(shù)據(jù)集；

將所述通用領(lǐng)域場(chǎng)景數(shù)據(jù)集拆分為通用訓(xùn)練集、通用驗(yàn)證集、通用測(cè)試集；

根據(jù)所述通用訓(xùn)練集、通用驗(yàn)證集、通用測(cè)試集，對(duì)初始深度學(xué)習(xí)模 型進(jìn)行訓(xùn)練驗(yàn)證、測(cè)試，得到所述通用閱讀理解模型。

4.根據(jù)權(quán)利要求3所述的閱讀理解模型構(gòu)建方法，其特征在于，所述根據(jù)所述通用訓(xùn)練集、通用驗(yàn)證集、通用測(cè)試集，對(duì)所述深度學(xué)習(xí)模 型進(jìn)行訓(xùn)練、驗(yàn)證、測(cè)試，得到所述通用閱讀理解模型，進(jìn)一步包括：

根據(jù)所述通用訓(xùn)練集對(duì)初始深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，優(yōu)化模型的參數(shù)；

根據(jù)所述通用驗(yàn)證集對(duì)訓(xùn)練優(yōu)化后的深度學(xué)習(xí)模型進(jìn)行驗(yàn)證，優(yōu)化模型的超參數(shù)；

根據(jù)所述通用測(cè)試集對(duì)驗(yàn)證優(yōu)化后的深度學(xué)習(xí)模型進(jìn)行測(cè)試評(píng)估，得到驗(yàn)證優(yōu)化后的深度學(xué)習(xí)模型的泛化誤差；

確定所述泛化誤差小于預(yù)設(shè)閾值，則取所述驗(yàn)證優(yōu)化后的深度學(xué)習(xí)模型為所述通用閱讀理解模型。

5.一種閱讀理解模型構(gòu)建裝置，其特征在于，包括：

訓(xùn)練集生成模塊，用于根據(jù)第一領(lǐng)域場(chǎng)景數(shù)據(jù)集，得到第一領(lǐng)域場(chǎng)景的訓(xùn)練集；所述根據(jù)第一領(lǐng)域場(chǎng)景數(shù)據(jù)集，得到第一領(lǐng)域場(chǎng)景的訓(xùn)練集，包括：確定不存在與所述第一領(lǐng)域場(chǎng)景數(shù)據(jù)的領(lǐng)域場(chǎng)景類(lèi)別相同的已有領(lǐng)域場(chǎng)景數(shù)據(jù)集，則將所述第一領(lǐng)域場(chǎng)景數(shù)據(jù)作為所述第一領(lǐng)域場(chǎng)景的訓(xùn)練集；將所述第一領(lǐng)域場(chǎng)景數(shù)據(jù)集加入到已有的領(lǐng)域場(chǎng)景數(shù)據(jù)中；

專(zhuān)用閱讀理解模型生成模塊，用于根據(jù)所述第一領(lǐng)域場(chǎng)景的訓(xùn)練集，對(duì)通用閱讀理解模型做二次訓(xùn)練，得到所述第一領(lǐng)域場(chǎng)景的專(zhuān)用閱讀理解模型；

所述通用閱讀理解模型為根據(jù)通用領(lǐng)域場(chǎng)景數(shù)據(jù)集預(yù)先訓(xùn)練深度學(xué)習(xí)模型得到的；

所述通用領(lǐng)域場(chǎng)景數(shù)據(jù)集是多領(lǐng)域場(chǎng)景閱讀理解樣本經(jīng)過(guò)數(shù)據(jù)標(biāo)注后的數(shù)據(jù)集合；

所述多領(lǐng)域場(chǎng)景閱讀理解樣本包括問(wèn)題、文檔、答案以及問(wèn)題與答案所對(duì)應(yīng)的文檔位置。

6.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至4任一項(xiàng)所述閱讀理解模型構(gòu)建方法的步驟。

7.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至4任一項(xiàng)所述閱讀理解模型構(gòu)建方法的步驟。