[發(fā)明專利]自然語言處理模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010699284.3
• 申請(qǐng)日: 2020-07-20
• 公開（公告）號(hào): CN112001190A
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 歐陽軒;王碩寰;孫宇
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F40/58
• 分類號(hào): G06F40/58;G06F40/42
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11412
• 代理人: 田宏賓

本申請(qǐng)公開了一種自然語言處理模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，涉及基于人工智能的自然語言處理領(lǐng)域。具體實(shí)現(xiàn)方案為：基于預(yù)設(shè)的語料集，構(gòu)建指代消解任務(wù)的各條訓(xùn)練語料對(duì)，各訓(xùn)練語料對(duì)中包括正樣本和負(fù)樣本；采用各訓(xùn)練語料對(duì)，訓(xùn)練自然語言處理模型，使其學(xué)習(xí)識(shí)別對(duì)應(yīng)的正樣本和負(fù)樣本的能力；采用各訓(xùn)練語料對(duì)的正樣本，訓(xùn)練自然語言處理模型，使其學(xué)習(xí)指代消解任務(wù)的能力。本申請(qǐng)可以實(shí)現(xiàn)自然語言處理模型對(duì)指代消解任務(wù)進(jìn)行建模，提升自然語言處理模型對(duì)指代消解任務(wù)的處理能力，豐富自然語言處理模型的功能，增強(qiáng)自然語言處理模型的實(shí)用性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及基于人工智能的自然語言處理領(lǐng)域，具體涉及一種自然語言處理模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

在自然語言處理(Natural Language Processing；NLP)任務(wù)中，存在著大量指代消解任務(wù)的需求。

例如，在閱讀理解中，需要知道每個(gè)代詞指代的名詞是什么，才可以做到對(duì)文章的準(zhǔn)確全面理解；在機(jī)器翻譯中，土耳其語的代詞中并不區(qū)分男他和女她，在翻譯成英語時(shí)如果無法對(duì)代詞的意思進(jìn)行準(zhǔn)確的解析，將嚴(yán)重影響機(jī)器翻譯效果。如何更好的對(duì)指代消解任務(wù)建模，提升自然語言處理模型對(duì)指代消解任務(wù)的處理能力，是一種亟需解決的技術(shù)問題。

發(fā)明內(nèi)容

為了解決上述問題，本申請(qǐng)?zhí)峁┝艘环N自然語言處理模型的訓(xùn)練、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

根據(jù)本申請(qǐng)的一方面，提供了一種自然語言處理模型的訓(xùn)練方法，其中，所述方法包括：

基于預(yù)設(shè)的語料集，構(gòu)建指代消解任務(wù)的各條訓(xùn)練語料對(duì)，各所述訓(xùn)練語料對(duì)中包括正樣本和負(fù)樣本；

采用各所述訓(xùn)練語料對(duì)，訓(xùn)練所述自然語言處理模型，使其學(xué)習(xí)識(shí)別對(duì)應(yīng)的所述正樣本和所述負(fù)樣本的能力；

采用各所述訓(xùn)練語料對(duì)的正樣本，訓(xùn)練所述自然語言處理模型，使其學(xué)習(xí)指代消解任務(wù)的能力。

根據(jù)本申請(qǐng)的另一方面，提供了一種自然語言處理模型的訓(xùn)練裝置，其中，所述裝置包括：

構(gòu)建模塊，用于基于預(yù)設(shè)的語料集，構(gòu)建指代消解任務(wù)的各條訓(xùn)練語料對(duì)，各所述訓(xùn)練語料對(duì)中包括正樣本和負(fù)樣本；

第一訓(xùn)練模塊，用于采用各所述訓(xùn)練語料對(duì)，訓(xùn)練所述自然語言處理模型，使其學(xué)習(xí)識(shí)別對(duì)應(yīng)的所述正樣本和所述負(fù)樣本的能力；

第二訓(xùn)練模塊，用于采用各所述訓(xùn)練語料對(duì)的正樣本，訓(xùn)練所述自然語言處理模型，使其學(xué)習(xí)指代消解任務(wù)的能力。

根據(jù)本申請(qǐng)的再一方面，提供了一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如上所述的方法。

根據(jù)本申請(qǐng)的又一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行如上所述的方法。

根據(jù)本申請(qǐng)的技術(shù)，可以實(shí)現(xiàn)自然語言處理模型對(duì)指代消解任務(wù)進(jìn)行建模，提升自然語言處理模型對(duì)指代消解任務(wù)的處理能力，豐富自然語言處理模型的功能，增強(qiáng)自然語言處理模型的實(shí)用性。

應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構(gòu)成對(duì)本申請(qǐng)的限定。其中：

圖1是根據(jù)本申請(qǐng)第一實(shí)施例的示意圖；