[發(fā)明專利]是非類問答模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010876020.0
• 申請日: 2020-08-25
• 公開（公告）號: CN112100345A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 鄭俊強(qiáng);劉凱;尹何舉
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06N3/08
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11412
• 代理人: 田宏賓

本申請公開了一種是非類問答模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)，涉及人工智能技術(shù)領(lǐng)域及自然語言處理技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：采用預(yù)先采集的推理任務(wù)數(shù)據(jù)集，訓(xùn)練是非類問答模型，使得所述是非類問答模型學(xué)習(xí)基于所述推理任務(wù)數(shù)據(jù)集的推理任務(wù)數(shù)據(jù)中的源片段推理目標(biāo)片段的能力；采用預(yù)先采集的任務(wù)數(shù)據(jù)集，訓(xùn)練所述是非類問答模型，使得所述是非類問答模型學(xué)習(xí)基于所述任務(wù)數(shù)據(jù)集的任務(wù)數(shù)據(jù)中答案片段，解答是非類問題的能力。本申請能夠有效地提高是非類解答模型的準(zhǔn)確性，增強(qiáng)是非類問答模型的效果。

技術(shù)領(lǐng)域

本申請涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及人工智能技術(shù)領(lǐng)域及自然語言處理技術(shù)領(lǐng)域，具體涉及一種是非類問答模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

現(xiàn)有技術(shù)中，互聯(lián)網(wǎng)中用戶的搜索query可以分為問答類query和非問答類query。其中問答類query又可以分為實(shí)體、描述、是非等類別，為了符合用戶越來越精細(xì)化、多樣化的需求，每種類別的準(zhǔn)確率都至關(guān)重要。

為適應(yīng)語音、播報(bào)等場景，是非類問答模型一般直接給出query的觀點(diǎn)答案，而不是讓用戶自己找尋。是非類的問題只需要給出：能/不能、可以/不可以等準(zhǔn)確的觀點(diǎn)表示，而不是像常見的搜索系統(tǒng)中，給出很長的不確定能否回答問題的摘要，具體的網(wǎng)頁搜索結(jié)果等。現(xiàn)有的是非類問答模型通常采用是非類的任務(wù)數(shù)據(jù)進(jìn)行訓(xùn)練而成。

但是，考慮到是否類任務(wù)數(shù)據(jù)的構(gòu)建成本較高，數(shù)據(jù)量較少，導(dǎo)致采用少量的是非類任務(wù)數(shù)據(jù)訓(xùn)練的是非類問答模型的準(zhǔn)確性較低。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本申請?zhí)峁┝艘环N是非類問答模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)。

根據(jù)本申請的一方面，提供了一種是非類問答模型的訓(xùn)練方法，其中，所述方法包括：

采用預(yù)先采集的推理任務(wù)數(shù)據(jù)集，訓(xùn)練是非類問答模型，使得所述是非類問答模型學(xué)習(xí)基于所述推理任務(wù)數(shù)據(jù)集的推理任務(wù)數(shù)據(jù)中的源片段推理目標(biāo)片段的能力；

采用預(yù)先采集的任務(wù)數(shù)據(jù)集，訓(xùn)練所述是非類問答模型，使得所述是非類問答模型學(xué)習(xí)基于所述任務(wù)數(shù)據(jù)集的任務(wù)數(shù)據(jù)中答案片段，解答是非類問題的能力。

根據(jù)本申請的另一方面，提供了一種是非類問答模型的訓(xùn)練裝置，其中，所述裝置包括：

第一訓(xùn)練模塊，用于采用預(yù)先采集的推理任務(wù)數(shù)據(jù)集，訓(xùn)練是非類問答模型，使得所述是非類問答模型學(xué)習(xí)基于所述推理任務(wù)數(shù)據(jù)集的推理任務(wù)數(shù)據(jù)中的源片段推理目標(biāo)片段的能力；

第二訓(xùn)練模塊，用于采用預(yù)先采集的任務(wù)數(shù)據(jù)集，訓(xùn)練所述是非類問答模型，使得所述是非類問答模型學(xué)習(xí)基于所述任務(wù)數(shù)據(jù)集的任務(wù)數(shù)據(jù)中答案片段，解答是非類問題的能力。

根據(jù)本申請的再一方面，提供了一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與所述至少一個(gè)處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如上所述的方法。

根據(jù)本申請的又一方面，提供了一種存儲有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行如上所述的方法。

根據(jù)本申請的技術(shù)，能夠克服現(xiàn)有技術(shù)的不足，由于先對是非類問答模型的推理能力進(jìn)行訓(xùn)練，使得模型能夠充分學(xué)習(xí)到推理能力，進(jìn)而再在小數(shù)據(jù)量的任務(wù)數(shù)據(jù)集上對是非類問答模型進(jìn)行訓(xùn)練，可以進(jìn)一步在掌握推理能力的基礎(chǔ)上，充分學(xué)習(xí)到解答問題的能力，能夠有效地提高是非類解答模型的準(zhǔn)確性，增強(qiáng)是非類問答模型的效果。

應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。