[發(fā)明專(zhuān)利]BERT模型的優(yōu)化方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010895250.1
• 申請(qǐng)日: 2020-08-31
• 公開(kāi)（公告）號(hào): CN111950298B
• 公開(kāi)（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 俞凱;金樂(lè)盛;陳露;趙晏彬;陳志;朱蘇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 思必馳科技股份有限公司
• 主分類(lèi)號(hào): G06F40/30
• 分類(lèi)號(hào): G06F40/30;G06F40/253;G06F40/289
• 代理公司: 北京商專(zhuān)永信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 黃謙;車(chē)江華

本發(fā)明實(shí)施例提供一種BERT模型的優(yōu)化方法。該方法包括：通過(guò)BERT模型確定由待推理的句子對(duì)拆分的子詞序列中每個(gè)子詞的第一上下文嵌入；通過(guò)語(yǔ)義表示語(yǔ)言解析器，確定句子對(duì)的語(yǔ)義表示圖，提取句子對(duì)的語(yǔ)義特征；將句子對(duì)的語(yǔ)義特征確定為第一上下文嵌入的輔助信息，確定帶有語(yǔ)義特征的第二上下文嵌入；基于帶有語(yǔ)義特征的第二上下文嵌入，預(yù)測(cè)句子對(duì)中的兩個(gè)句子的包含關(guān)系。本發(fā)明實(shí)施例還提供一種BERT模型的優(yōu)化系統(tǒng)。本發(fā)明實(shí)施例在自然語(yǔ)言推理的語(yǔ)言模型中，為上下文嵌入輔助高層次的語(yǔ)義信息以及語(yǔ)法信息，使訓(xùn)練后的語(yǔ)言模型對(duì)語(yǔ)義信息更加敏感，大大提高了自然語(yǔ)言推理任務(wù)的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言推理領(lǐng)域，尤其涉及一種BERT模型的優(yōu)化方法及系統(tǒng)。

背景技術(shù)

NLI(Natural?Language?Interaction，自然語(yǔ)言推理)，也稱(chēng)為識(shí)別文本蘊(yùn)涵，要求確定是否可以從給定前提推論假設(shè)句子。基于一種關(guān)鍵的句子語(yǔ)義匹配方法，其他一些NLP(Natural?Language?Processing，自然語(yǔ)言處理)任務(wù)與NLI有很強(qiáng)的關(guān)系，包括問(wèn)題回答，語(yǔ)義識(shí)別和信息檢索。

在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)中至少存在如下問(wèn)題：

自然語(yǔ)言推理的語(yǔ)言模型是在大型純文本語(yǔ)料庫(kù)上訓(xùn)練的。這種訓(xùn)練方法使預(yù)訓(xùn)練的語(yǔ)言模型傾向于學(xué)習(xí)簡(jiǎn)單的上下文特征，但缺乏語(yǔ)法和語(yǔ)義理解。實(shí)驗(yàn)還顯示，深度學(xué)習(xí)模型專(zhuān)注于簡(jiǎn)單的上下文單詞，但很少了解自然語(yǔ)言文本中的真實(shí)含義和高級(jí)語(yǔ)義，缺乏語(yǔ)義信息，從而影響語(yǔ)言推理效果。

發(fā)明內(nèi)容

為了至少解決現(xiàn)有技術(shù)中訓(xùn)練語(yǔ)言推理的語(yǔ)言模型中缺少語(yǔ)義信息的問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供一種BERT模型的優(yōu)化方法，包括：

通過(guò)BERT模型確定由待推理的句子對(duì)拆分的子詞序列中每個(gè)子詞的第一上下文嵌入；

通過(guò)語(yǔ)義表示語(yǔ)言解析器，確定所述句子對(duì)的語(yǔ)義表示圖，提取所述句子對(duì)的語(yǔ)義特征；

將所述句子對(duì)的語(yǔ)義特征確定為所述第一上下文嵌入的輔助信息，確定帶有語(yǔ)義特征的第二上下文嵌入；

基于帶有語(yǔ)義特征的第二上下文嵌入，預(yù)測(cè)所述句子對(duì)中的兩個(gè)句子的包含關(guān)系。

第二方面，本發(fā)明實(shí)施例提供一種BERT模型的優(yōu)化系統(tǒng)，包括：

上下文嵌入程序模塊，用于通過(guò)BERT模型確定由待推理的句子對(duì)拆分的子詞序列中每個(gè)子詞的第一上下文嵌入；

語(yǔ)義特征提取程序模塊，用于通過(guò)語(yǔ)義表示語(yǔ)言解析器，確定所述句子對(duì)的語(yǔ)義表示圖，提取所述句子對(duì)的語(yǔ)義特征；

輔助程序模塊，用于將所述句子對(duì)的語(yǔ)義特征確定為所述第一上下文嵌入的輔助信息，確定帶有語(yǔ)義特征的第二上下文嵌入；

預(yù)測(cè)程序模塊，用于基于帶有語(yǔ)義特征的第二上下文嵌入，預(yù)測(cè)所述句子對(duì)中的兩個(gè)句子的包含關(guān)系。

第三方面，提供一種電子設(shè)備，其包括：至少一個(gè)處理器，以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器，其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本發(fā)明任一實(shí)施例的BERT模型的優(yōu)化方法的步驟。

第四方面，本發(fā)明實(shí)施例提供一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明任一實(shí)施例的BERT模型的優(yōu)化方法的步驟。

本發(fā)明實(shí)施例的有益效果在于：在自然語(yǔ)言推理的語(yǔ)言模型中，為上下文嵌入輔助高層次的語(yǔ)義信息以及語(yǔ)法信息，使訓(xùn)練后的語(yǔ)言模型對(duì)語(yǔ)義信息更加敏感，大大提高了自然語(yǔ)言推理任務(wù)的性能。

附圖說(shuō)明