[發(fā)明專利]用于訓(xùn)練模型的方法、裝置、設(shè)備以及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010526432.1
• 申請日: 2020-06-11
• 公開（公告）號: CN111428008B
• 公開（公告）日: 2020-09-29
• 發(fā)明（設(shè)計）人: 時鴻劍;姜文斌;馮欣偉;余淼;周環(huán)宇;田孟;吳學(xué)謙;宋勛超
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/30
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本申請公開了用于訓(xùn)練模型的方法、裝置、設(shè)備以及存儲介質(zhì)，涉及知識圖譜、自然語言處理、深度學(xué)習(xí)技術(shù)領(lǐng)域。具體實現(xiàn)方案為：獲取第一標(biāo)注數(shù)據(jù)集，其中，第一標(biāo)注數(shù)據(jù)集包括樣本數(shù)據(jù)和樣本數(shù)據(jù)對應(yīng)的標(biāo)注分類結(jié)果；根據(jù)第一標(biāo)注數(shù)據(jù)集訓(xùn)練預(yù)先設(shè)置的初始分類模型，得到中間模型；利用中間模型對第一標(biāo)注數(shù)據(jù)集中的樣本數(shù)據(jù)進(jìn)行預(yù)測，得到樣本數(shù)據(jù)對應(yīng)的預(yù)測分類結(jié)果；根據(jù)樣本數(shù)據(jù)、對應(yīng)的標(biāo)注分類結(jié)果、對應(yīng)的預(yù)測分類結(jié)果，生成第二標(biāo)注數(shù)據(jù)集；根據(jù)第二標(biāo)注數(shù)據(jù)集訓(xùn)練中間模型，得到分類模型。本實現(xiàn)方式能夠有效地利用高噪聲的標(biāo)注數(shù)據(jù)，訓(xùn)練出高可用的模型，提高了數(shù)據(jù)的利用率。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)技術(shù)領(lǐng)域，具體涉及知識圖譜領(lǐng)域、自然語言處理、深度學(xué)習(xí)領(lǐng)域，尤其涉及用于訓(xùn)練模型的方法、裝置、設(shè)備以及存儲介質(zhì)。

背景技術(shù)

語義匹配技術(shù)是自然語言處理領(lǐng)域中重要的技術(shù)方向，在業(yè)務(wù)中也有著廣泛的應(yīng)用，充當(dāng)著應(yīng)用的基石。語義匹配技術(shù)，簡而言之，是將兩個字符串經(jīng)過語義理解后，根據(jù)其語義進(jìn)行相似度匹配的技術(shù)。語義匹配技術(shù)不僅在自然語言處理領(lǐng)域中一直占有相當(dāng)重要的地位，而且在排序、推薦以及問答等多個業(yè)務(wù)領(lǐng)域有著廣泛的應(yīng)用，是研究與業(yè)務(wù)中不可或缺的一部分。

但是語義匹配模型訓(xùn)練的數(shù)據(jù)一直是限制其在科研與業(yè)務(wù)中廣泛應(yīng)用的源頭。語義匹配模型的訓(xùn)練數(shù)據(jù)中，對于某些標(biāo)準(zhǔn)較為模糊的匹配需求，其標(biāo)注數(shù)據(jù)會較為困難，會出現(xiàn)非常多的錯誤標(biāo)注，又常有非常多的噪聲。而如何克服噪聲，訓(xùn)練出高效且準(zhǔn)確的語義匹配模型，則是進(jìn)一步推進(jìn)語義匹配模型效果的途徑。

發(fā)明內(nèi)容

提供了一種用于訓(xùn)練模型的方法、裝置、設(shè)備以及存儲介質(zhì)。

根據(jù)第一方面，提供了一種用于訓(xùn)練模型的方法，包括：獲取第一標(biāo)注數(shù)據(jù)集，其中，上述第一標(biāo)注數(shù)據(jù)集包括樣本數(shù)據(jù)和樣本數(shù)據(jù)對應(yīng)的標(biāo)注分類結(jié)果，樣本數(shù)據(jù)包括文本數(shù)據(jù)、圖像數(shù)據(jù)、語音數(shù)據(jù)或視頻數(shù)據(jù)；根據(jù)上述第一標(biāo)注數(shù)據(jù)集訓(xùn)練預(yù)先設(shè)置的初始分類模型，得到中間模型；利用上述中間模型對上述第一標(biāo)注數(shù)據(jù)集中的樣本數(shù)據(jù)進(jìn)行預(yù)測，得到上述樣本數(shù)據(jù)對應(yīng)的預(yù)測分類結(jié)果；根據(jù)上述樣本數(shù)據(jù)、對應(yīng)的標(biāo)注分類結(jié)果、對應(yīng)的預(yù)測分類結(jié)果，生成第二標(biāo)注數(shù)據(jù)集；根據(jù)上述第二標(biāo)注數(shù)據(jù)集訓(xùn)練上述中間模型，得到分類模型。

根據(jù)第二方面，提供了一種用于訓(xùn)練模型的裝置，包括：獲取單元，被配置成獲取第一標(biāo)注數(shù)據(jù)集，其中，上述第一標(biāo)注數(shù)據(jù)集包括樣本數(shù)據(jù)和樣本數(shù)據(jù)對應(yīng)的標(biāo)注分類結(jié)果，樣本數(shù)據(jù)包括文本數(shù)據(jù)、圖像數(shù)據(jù)、語音數(shù)據(jù)或視頻數(shù)據(jù)；第一訓(xùn)練單元，被配置成根據(jù)上述第一標(biāo)注數(shù)據(jù)集訓(xùn)練預(yù)先設(shè)置的初始分類模型，得到中間模型；預(yù)測單元，被配置成利用上述中間模型對上述第一標(biāo)注數(shù)據(jù)集中的樣本數(shù)據(jù)進(jìn)行預(yù)測，得到上述樣本數(shù)據(jù)對應(yīng)的預(yù)測分類結(jié)果；生成單元，被配置成根據(jù)上述樣本數(shù)據(jù)、對應(yīng)的標(biāo)注分類結(jié)果、對應(yīng)的預(yù)測分類結(jié)果，生成第二標(biāo)注數(shù)據(jù)集；第二訓(xùn)練單元，被配置成根據(jù)上述第二標(biāo)注數(shù)據(jù)集訓(xùn)練上述中間模型，得到分類模型。

根據(jù)第三方面，提供了一種用于訓(xùn)練模型的電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執(zhí)行的指令，所述指令被至少一個處理器執(zhí)行，以使至少一個處理器能夠執(zhí)行如第一方面所描述的方法。

根據(jù)第四方面，提供了一種存儲有計算機(jī)指令的非瞬時計算機(jī)可讀存儲介質(zhì)，上述計算機(jī)指令用于使計算機(jī)執(zhí)行如第一方面所描述的方法。

根據(jù)本申請的技術(shù)能夠有效地利用高噪聲的標(biāo)注數(shù)據(jù)，訓(xùn)練出高可用的模型，提高了數(shù)據(jù)的利用率。

應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識本公開的實施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構(gòu)成對本申請的限定。其中：

圖1是本申請的一個實施例可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖；