[發(fā)明專利]意圖識別方法、裝置、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010152083.1
• 申請日: 2020-03-06
• 公開（公告）號: CN113360751A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 余曉峰;韓友;鄭立濤
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F40/295;G06F40/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本申請公開了一種意圖識別方法、裝置、設(shè)備和介質(zhì)，涉及自然語言處理技術(shù)。具體實現(xiàn)方案為：針對每個預(yù)訓(xùn)練樣本中的每個字和至少一個第一匹配關(guān)鍵詞，按照預(yù)設(shè)概率進(jìn)行遮蔽，其中，所述第一匹配關(guān)鍵詞是預(yù)訓(xùn)練樣本中與預(yù)先建立的知識圖譜中的實體相匹配的詞語，所述知識圖譜中包括每種意圖類別相關(guān)的實體；基于所述遮蔽后的每個預(yù)訓(xùn)練樣本，對預(yù)先搭建的語言模型進(jìn)行預(yù)訓(xùn)練；對所述預(yù)訓(xùn)練后的語言模型進(jìn)行微調(diào)，得到目標(biāo)語言模型，以基于所述目標(biāo)語言模型進(jìn)行意圖識別。本申請實施例通過在語言模型的預(yù)訓(xùn)練階段融入知識圖譜，讓模型可以學(xué)習(xí)到知識的語義表示，從而增強(qiáng)模型的表征能力和推理能力，提高模型預(yù)測的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種自然語言處理技術(shù)，具體涉及一種意圖識別方法、裝置、設(shè)備和介質(zhì)。

背景技術(shù)

用戶意圖識別在搜索引擎和廣告推薦等領(lǐng)域起著至關(guān)重要的作用。只有精準(zhǔn)識別用戶意圖，才能給出精準(zhǔn)的內(nèi)容，才能提升廣告的點擊率與轉(zhuǎn)化率，以更好地滿足用戶需求和體驗，提升商業(yè)上的收益。

用戶意圖識別本質(zhì)上是一個文本分類問題，是指在給定的分類體系中，將文本指定分到某個或某幾個類別中。作為自然語言處理領(lǐng)域中一個非常經(jīng)典的問題，現(xiàn)有技術(shù)主要是基于深度學(xué)習(xí)的分類方法。并在此基礎(chǔ)上還進(jìn)一步還提出了預(yù)訓(xùn)練語言模型，包括基于RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))的ELMo和ULMFiT，基于Transformer(一種網(wǎng)絡(luò)結(jié)構(gòu))的OpenAI GPT及Google BERT等，即首先使用大量無監(jiān)督語料進(jìn)行語言模型預(yù)訓(xùn)練(Pre-training)，再使用少量標(biāo)注語料進(jìn)行微調(diào)(Fine-tuning)，以完成如意圖識別等具體NLP(自然語言處理)的應(yīng)用。

然而，現(xiàn)有技術(shù)中的預(yù)訓(xùn)練語言模型只能學(xué)習(xí)到樣本的上下文表征，缺乏對語義的理解，使得模型并未理解數(shù)據(jù)中蘊含的語義知識，缺乏推理能力，從而導(dǎo)致模型預(yù)測的準(zhǔn)確性降低。

發(fā)明內(nèi)容

本申請實施例提供一種意圖識別方法、裝置、設(shè)備和介質(zhì)，以解決現(xiàn)有技術(shù)中的預(yù)訓(xùn)練語言模型預(yù)測準(zhǔn)確性降低的問題。

第一方面，本申請實施例提供了一種意圖識別方法，包括：

針對每個預(yù)訓(xùn)練樣本中的每個字和至少一個第一匹配關(guān)鍵詞，按照預(yù)設(shè)概率進(jìn)行遮蔽，其中，所述第一匹配關(guān)鍵詞是預(yù)訓(xùn)練樣本中與預(yù)先建立的知識圖譜中的實體相匹配的詞語，所述知識圖譜中包括每種意圖類別相關(guān)的實體；

基于所述遮蔽后的每個預(yù)訓(xùn)練樣本，對預(yù)先搭建的語言模型進(jìn)行預(yù)訓(xùn)練；

對所述預(yù)訓(xùn)練后的語言模型進(jìn)行微調(diào)，得到目標(biāo)語言模型，以基于所述目標(biāo)語言模型進(jìn)行意圖識別。

上述申請中的一個實施例具有如下優(yōu)點或有益效果：通過在語言模型的預(yù)訓(xùn)練階段融入知識圖譜，讓模型可以學(xué)習(xí)到知識的語義表示，從而增強(qiáng)模型的表征能力和推理能力，提高模型預(yù)測的準(zhǔn)確性。

可選的，在所述針對每個預(yù)訓(xùn)練樣本中的每個字和至少一個第一匹配關(guān)鍵詞，按照預(yù)設(shè)概率進(jìn)行遮蔽之前，所述方法還包括：

對每個預(yù)訓(xùn)練樣本進(jìn)行分詞，得到分詞結(jié)果；

分別將每個預(yù)訓(xùn)練樣本的分詞結(jié)果與所述知識圖譜中的實體進(jìn)行匹配，得到每個預(yù)訓(xùn)練樣本中的所述至少一個第一匹配關(guān)鍵詞。

上述申請中的一個實施例具有如下優(yōu)點或有益效果：為了實現(xiàn)在預(yù)訓(xùn)練階段融入知識圖譜，采用了對訓(xùn)練樣本中與知識圖譜中的實體相匹配的關(guān)鍵詞進(jìn)行遮蔽的方法，對模型進(jìn)行預(yù)訓(xùn)練，使得訓(xùn)練后的模型能夠?qū)W習(xí)到知識的語義表示，以及知識與其上下文和其它知識之間的關(guān)系，從而增強(qiáng)模型的表征能力和推理能力，提高模型預(yù)測的準(zhǔn)確性。

可選的，所述對所述預(yù)訓(xùn)練后的語言模型進(jìn)行微調(diào)，包括：

獲取每個微調(diào)訓(xùn)練樣本中與所述知識圖譜中的實體相匹配的至少一個第二匹配關(guān)鍵詞；