[發(fā)明專利]基于BERT的機(jī)器閱讀理解方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011187381.0
• 申請(qǐng)日: 2020-10-29
• 公開（公告）號(hào): CN112464641B
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 侯麗;劉翔
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F40/205
• 分類號(hào): G06F40/205;G06F40/295;G06F40/166
• 代理公司: 深圳市力道知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44507
• 代理人: 賀小旺

1.一種基于BERT的機(jī)器閱讀理解方法，其特征在于，包括：

獲取待訓(xùn)練的第一問題和多個(gè)候選文檔，將所述第一問題分別與各個(gè)候選文檔組合，生成待訓(xùn)練問題文檔對(duì)；

根據(jù)所述待訓(xùn)練問題文檔對(duì)訓(xùn)練第一預(yù)置預(yù)訓(xùn)練語(yǔ)言模型，生成文檔排序模型；

根據(jù)所述待訓(xùn)練問題文檔對(duì)訓(xùn)練預(yù)置多文檔答案預(yù)測(cè)模型，生成閱讀理解模型；

獲取待預(yù)測(cè)問題文檔對(duì)，其中，所述待預(yù)測(cè)問題文檔對(duì)包括第二問題和所述第二問題對(duì)應(yīng)的多個(gè)候選文檔；

基于所述文檔排序模型，根據(jù)所述待預(yù)測(cè)問題文檔對(duì)，輸出所述第二問題對(duì)應(yīng)的目標(biāo)文檔；

基于所述閱讀理解模型，根據(jù)所述第二問題和所述目標(biāo)文檔，獲取所述閱讀理解模型輸出所述目標(biāo)文檔中的目標(biāo)文本，并將所述目標(biāo)文本作為所述第二問題的閱讀理解答案；

其中，所述第一預(yù)置預(yù)訓(xùn)練語(yǔ)言模型包括字典文件、自注意力網(wǎng)絡(luò)模型、結(jié)巴工具和中文分詞工具；所述根據(jù)所述待訓(xùn)練問題文檔對(duì)訓(xùn)練第一預(yù)置預(yù)訓(xùn)練語(yǔ)言模型，生成文檔排序模型，包括：

根據(jù)所述字典文件和所述待訓(xùn)練問題文檔對(duì)，確定所述待訓(xùn)練問題文檔對(duì)的第一文本向量信息；

根據(jù)所述自注意力網(wǎng)絡(luò)模型和所述第一文本向量信息，獲取所述第一文本向量信息對(duì)應(yīng)的第一文本語(yǔ)義向量信息；

基于結(jié)巴工具，獲取所述待訓(xùn)練問題文檔對(duì)中第一問題和所述各個(gè)候選文檔的位置特征向量信息；

確定所述待訓(xùn)練問題文檔對(duì)中所述第一問題與所述各個(gè)候選文檔的相同字詞特征和非共同字詞特征，得到對(duì)應(yīng)的字詞特征向量信息；

根據(jù)所述中文分詞工具和所述待訓(xùn)練問題文檔對(duì)，獲取所述待訓(xùn)練問題文檔對(duì)的命名實(shí)體特征向量信息；

根據(jù)所述第一文本語(yǔ)義向量信息、所述位置特征向量信息、所述相同字詞特征向量信息和所述命名實(shí)體特征向量信息，得到所述待訓(xùn)練問題文檔對(duì)的第一文本語(yǔ)義特征向量信息；

根據(jù)所述第一文本語(yǔ)義特征向量信息，得到對(duì)應(yīng)的第一損失函數(shù)；

根據(jù)所述第一損失函數(shù)更新所述第一預(yù)置預(yù)訓(xùn)練語(yǔ)言模型的模型參數(shù)，生成文檔排序模型。

2.如權(quán)利要求1所述的基于BERT的機(jī)器閱讀理解方法，其特征在于，所述根據(jù)所述字典文件和所述待訓(xùn)練問題文檔對(duì)，確定所述待訓(xùn)練問題文檔對(duì)的第一文本向量信息，包括：

根據(jù)所述字典對(duì)所述待訓(xùn)練問題文檔對(duì)進(jìn)行字詞切分，得到所述待訓(xùn)練問題文檔對(duì)中第一問題的第一問題序列以及所述各個(gè)候選文檔的文檔序列；

將所述第一問題序列和所述文檔序列進(jìn)行拼接，生成對(duì)應(yīng)的第一文本序列；

將所述第一文本序列進(jìn)行特征向量轉(zhuǎn)換，得到對(duì)應(yīng)的第一文本向量信息。

3.如權(quán)利要求1所述的基于BERT的機(jī)器閱讀理解方法，其特征在于，所述根據(jù)所述自注意力網(wǎng)絡(luò)模型和所述第一文本向量信息，獲取所述第一文本向量信息對(duì)應(yīng)的第一文本語(yǔ)義向量信息，包括：

將所述第一文本向量信息輸入所述自注意力網(wǎng)絡(luò)模型，得到所述第一文本向量信息的各個(gè)語(yǔ)義空間的文本語(yǔ)義向量信息；

根據(jù)所述各個(gè)語(yǔ)義空間的文本語(yǔ)義向量信息，獲取所述自注意力網(wǎng)絡(luò)模型輸出的第一文本語(yǔ)義向量信息。

4.如權(quán)利要求1所述的基于BERT的機(jī)器閱讀理解方法，其特征在于，所述根據(jù)所述待訓(xùn)練問題文檔對(duì)訓(xùn)練預(yù)置多文檔答案預(yù)測(cè)模型，生成閱讀理解模型，包括：

確定所述待訓(xùn)練問題文檔對(duì)的多個(gè)候選文檔中與所述第一問題的答案最相似的目標(biāo)候選文檔，并將所述第一問題與所述目標(biāo)候選文檔組成新的問題文檔對(duì)；

根據(jù)第二預(yù)置預(yù)訓(xùn)練語(yǔ)言模型，得到所述新的問題文檔對(duì)的第二文本語(yǔ)義向量信息；

根據(jù)所述第二文本語(yǔ)義向量信息和預(yù)置帶標(biāo)簽答案文檔訓(xùn)練預(yù)置多文檔答案預(yù)測(cè)模型，生成對(duì)應(yīng)的閱讀理解模型。