[發(fā)明專利]模型訓(xùn)練、意圖識別方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110809505.2
• 申請日: 2021-07-15
• 公開（公告）號: CN113673237A
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計）人: 劉操;龔彥韜;袁家振;楊帆;蔡勛梁;萬廣魯;牛瑞瑤
• 申請（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/295;G06F40/30;G06F40/58;G06K9/62
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 任亞娟

本公開實(shí)施例提供了一種模型訓(xùn)練、意圖識別方法、裝置、電子設(shè)備及存儲介質(zhì)。模型訓(xùn)練方法包括：獲取樣本數(shù)據(jù)和預(yù)設(shè)的初始模型；在利用所述樣本數(shù)據(jù)對預(yù)設(shè)初始模型進(jìn)行訓(xùn)練的過程中，識別各所述樣本數(shù)據(jù)的復(fù)雜程度，并調(diào)整不同復(fù)雜程度的樣本數(shù)據(jù)的比例；響應(yīng)于確定訓(xùn)練完成，得到訓(xùn)練完成的模型。本公開實(shí)施例中通過在模型訓(xùn)練過程中不斷調(diào)整不同復(fù)雜程度的樣本的比例，對不同復(fù)雜程度的樣本賦予不同的關(guān)注程度，從而能夠更有效地學(xué)習(xí)不同復(fù)雜程度的樣本，提升模型的性能。

技術(shù)領(lǐng)域

本公開涉及計算機(jī)技術(shù)領(lǐng)域，特別是涉及一種模型訓(xùn)練、意圖識別方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

意圖識別是通過分類的辦法將用戶輸入的文本劃分到相應(yīng)的意圖類別。意圖識別是理解用戶查詢的關(guān)鍵部分，通常通過語義分類來預(yù)測意圖類別，在搜索、任務(wù)型對話等領(lǐng)域有著廣泛的應(yīng)用場景。

意圖識別模型是進(jìn)行意圖識別的一種常用工具。參照圖1，示出了現(xiàn)有技術(shù)的一種意圖識別模型的處理過程示意圖。如圖1所示，現(xiàn)有技術(shù)中，基于標(biāo)準(zhǔn)意圖數(shù)據(jù)和用戶表述得到帶有意圖標(biāo)簽的數(shù)據(jù)，對收集的數(shù)據(jù)進(jìn)行隨機(jī)等概率采樣，訓(xùn)練得到意圖識別模型，利用訓(xùn)練完成的意圖識別模型對用戶新表述進(jìn)行預(yù)測，得到預(yù)測的意圖。

但是，現(xiàn)有技術(shù)中在模型訓(xùn)練過程中，對每個樣本賦予相同的關(guān)注程度，容易導(dǎo)致某些樣本被過度學(xué)習(xí)，而某些樣本無法充分學(xué)習(xí)，從而影響模型的性能。

發(fā)明內(nèi)容

鑒于上述問題，本公開實(shí)施例提出一種模型訓(xùn)練、意圖識別方法、裝置、電子設(shè)備及存儲介質(zhì)，用以提升模型的性能。

根據(jù)本公開的實(shí)施例的第一方面，提供了一種模型訓(xùn)練方法，包括：

獲取樣本數(shù)據(jù)和預(yù)設(shè)的初始模型；

在利用所述樣本數(shù)據(jù)對所述初始模型進(jìn)行訓(xùn)練的過程中，識別各所述樣本數(shù)據(jù)的復(fù)雜程度，并調(diào)整不同復(fù)雜程度的樣本數(shù)據(jù)的比例；

響應(yīng)于確定訓(xùn)練完成，得到訓(xùn)練完成的模型。

可選地，識別各所述樣本數(shù)據(jù)的復(fù)雜程度，包括：提取各所述樣本數(shù)據(jù)的特征向量；基于所述特征向量計算各所述樣本數(shù)據(jù)的復(fù)雜程度。

可選地，提取各所述樣本數(shù)據(jù)的特征向量，包括：針對每個樣本數(shù)據(jù)，獲取當(dāng)前樣本數(shù)據(jù)中包含的各分詞的語義表示向量；將所述語義表示向量的平均值作為當(dāng)前樣本數(shù)據(jù)的特征向量。

可選地，基于所述特征向量計算各所述樣本數(shù)據(jù)的復(fù)雜程度，包括：將屬于同一類別的樣本數(shù)據(jù)劃分為一個樣本集合；針對每個樣本集合，基于當(dāng)前樣本集合中包含的各樣本數(shù)據(jù)的特征向量，計算當(dāng)前樣本集合中包含的各樣本數(shù)據(jù)的累積密度；基于當(dāng)前樣本集合中包含的各樣本數(shù)據(jù)的累積密度，計算當(dāng)前樣本集合中包含的各樣本數(shù)據(jù)的復(fù)雜程度。

可選地，基于當(dāng)前樣本集合中包含的各樣本數(shù)據(jù)的特征向量，計算當(dāng)前樣本集合中包含的各樣本數(shù)據(jù)的累積密度，包括：針對當(dāng)前樣本集合中的每兩個樣本數(shù)據(jù)，基于當(dāng)前兩個樣本數(shù)據(jù)的特征向量計算當(dāng)前兩個樣本數(shù)據(jù)之間的距離；基于所述距離確定參考距離；針對當(dāng)前樣本集合中包含的每個樣本數(shù)據(jù)，基于當(dāng)前樣本數(shù)據(jù)與當(dāng)前樣本集合中包含的其他各樣本數(shù)據(jù)之間的距離以及所述參考距離，計算當(dāng)前樣本數(shù)據(jù)的累積密度。

可選地，基于當(dāng)前樣本數(shù)據(jù)與當(dāng)前樣本集合中包含的其他各樣本數(shù)據(jù)之間的距離以及所述參考距離，計算當(dāng)前樣本數(shù)據(jù)的累積密度，包括：如果當(dāng)前樣本數(shù)據(jù)與某個其他樣本數(shù)據(jù)之間的距離小于所述參考距離，則確定當(dāng)前樣本數(shù)據(jù)與該其他樣本數(shù)據(jù)之間的累積值為1；如果當(dāng)前樣本數(shù)據(jù)與某個其他樣本數(shù)據(jù)之間的距離大于等于所述參考距離，則確定當(dāng)前樣本數(shù)據(jù)與該其他樣本數(shù)據(jù)之間的累積值為0；將當(dāng)前樣本數(shù)據(jù)與當(dāng)前樣本集合中包含的其他各樣本數(shù)據(jù)之間的累積值的總和，作為當(dāng)前樣本數(shù)據(jù)的累積密度。

可選地，基于所述距離確定參考距離，包括：對所述距離進(jìn)行升序排序；選取排序后位于預(yù)設(shè)位置的距離作為所述參考距離。