[發(fā)明專(zhuān)利]自然語(yǔ)言理解方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810224982.0
• 申請(qǐng)日: 2018-03-19
• 公開(kāi)（公告）號(hào): CN108491386A
• 公開(kāi)（公告）日: 2018-09-04
• 發(fā)明（設(shè)計(jì)）人: 鞠劍勛;劉浪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海攜程國(guó)際旅行社有限公司
• 主分類(lèi)號(hào): G06F17/27
• 分類(lèi)號(hào): G06F17/27;G06N99/00
• 代理公司: 上海弼興律師事務(wù)所 31283
• 代理人: 薛琦;李夢(mèng)男

本發(fā)明公開(kāi)了一種自然語(yǔ)言理解方法及系統(tǒng)。自然語(yǔ)言理解方法包括以下步驟：S₁、構(gòu)建深度學(xué)習(xí)聯(lián)合模型；所述深度學(xué)習(xí)聯(lián)合模型的輸入?yún)?shù)為語(yǔ)句的詞向量，輸出參數(shù)為語(yǔ)句的關(guān)鍵詞向量和意圖向量；S₂、獲取待理解語(yǔ)句，對(duì)所述待理解語(yǔ)句進(jìn)行分詞處理得到詞向量；S₃、將所述詞向量輸入所述深度學(xué)習(xí)聯(lián)合模型，計(jì)算所述待理解語(yǔ)句的關(guān)鍵詞向量和意圖向量。本發(fā)明使用深度學(xué)習(xí)聯(lián)合模型實(shí)現(xiàn)了自然語(yǔ)言理解，使得自然語(yǔ)言理解的準(zhǔn)確率得到了大幅提升。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別涉及一種基于深度學(xué)習(xí)的自然語(yǔ)言理解方法及系統(tǒng)。

背景技術(shù)

自然語(yǔ)言理解技術(shù)廣泛應(yīng)用于理解句子的語(yǔ)義，分為兩個(gè)方面，一是理解句子的整體意圖，二是提取句子中影響理解的關(guān)鍵信息，這些關(guān)鍵信息通常為名詞和數(shù)詞等，比如命名實(shí)體、日期等，這種可變信息往往被提前設(shè)定好類(lèi)型，被稱(chēng)為槽(SLOT)。

目前，最廣泛的中文自然語(yǔ)言理解系統(tǒng)，使用了傳統(tǒng)自然語(yǔ)言處理(NLP)技術(shù)。其預(yù)先設(shè)定好所有需要處理的問(wèn)題的模板，模板中空出可變的關(guān)鍵詞作為槽，對(duì)用戶(hù)的實(shí)際問(wèn)題進(jìn)行關(guān)鍵字提取，并在模板集合中進(jìn)行匹配。在匹配的結(jié)果中，進(jìn)行打分，篩選出最有可能的目標(biāo)模板。模板的意圖即對(duì)應(yīng)實(shí)際問(wèn)題的意圖，模板中槽里的詞即為關(guān)鍵詞，由意圖和關(guān)鍵詞共同決定了對(duì)整句話(huà)的理解。

由于語(yǔ)言表達(dá)的多樣性、語(yǔ)義理解的困惑度，特別是中文的歧義等現(xiàn)象非常常見(jiàn)，導(dǎo)致了通過(guò)模板提取意圖的準(zhǔn)確率比較低，而且由于自然語(yǔ)言處理中的上下文復(fù)雜性，對(duì)于復(fù)雜的前后有上下文關(guān)聯(lián)的長(zhǎng)語(yǔ)句，模板并不能很好地處理，導(dǎo)致召回率也同樣比較低。同時(shí)該方法需要投入大量人力制定很多模板和規(guī)則，因此在實(shí)際應(yīng)用中，基于傳統(tǒng)自然語(yǔ)言處理的自然語(yǔ)言理解系統(tǒng)，在成本控制和用戶(hù)反饋上都沒(méi)有取得很好的效果。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題是為了克服現(xiàn)有技術(shù)中傳統(tǒng)自然語(yǔ)言處理技術(shù)準(zhǔn)確率低的缺陷，提供一種自然語(yǔ)言理解方法及系統(tǒng)。

本發(fā)明是通過(guò)下述技術(shù)方案來(lái)解決上述技術(shù)問(wèn)題：

一種自然語(yǔ)言理解方法，所述自然語(yǔ)言理解方法包括以下步驟：

S₁、構(gòu)建深度學(xué)習(xí)聯(lián)合模型；所述深度學(xué)習(xí)聯(lián)合模型的輸入?yún)?shù)為語(yǔ)句的詞向量，輸出參數(shù)為語(yǔ)句的關(guān)鍵詞向量和意圖向量；

S₂、獲取待理解語(yǔ)句，對(duì)所述待理解語(yǔ)句進(jìn)行分詞處理得到詞向量；

S₃、將所述詞向量輸入所述深度學(xué)習(xí)聯(lián)合模型，計(jì)算所述待理解語(yǔ)句的關(guān)鍵詞向量和意圖向量。

較佳地，所述深度學(xué)習(xí)聯(lián)合模型包括長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型和注意力模型；

步驟S₁具體包括：

獲取語(yǔ)句樣本；

標(biāo)注所述語(yǔ)句樣本的實(shí)際的關(guān)鍵詞向量和意圖向量，并對(duì)所述語(yǔ)句樣本進(jìn)行分詞處理，得到詞向量樣本；

將所述詞向量樣本輸入所述長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型；

將所述長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型的輸出向量輸入所述注意力模型；

將所述注意力模型的輸出參數(shù)與所述實(shí)際的關(guān)鍵詞向量和意圖向量進(jìn)行比較，根據(jù)比較結(jié)果調(diào)整所述長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型和所述注意力模型的參數(shù)；

迭代執(zhí)行上述步驟，當(dāng)所述輸出參數(shù)的準(zhǔn)確度在預(yù)設(shè)范圍內(nèi)時(shí)，得到最終的深度學(xué)習(xí)聯(lián)合模型。

較佳地，當(dāng)所述輸出參數(shù)的準(zhǔn)確度在預(yù)設(shè)范圍內(nèi)時(shí)，得到最終的深度學(xué)習(xí)聯(lián)合模型的步驟，具體包括：

分別基于交叉熵?fù)p失函數(shù)計(jì)算每次迭代過(guò)程中獲得的關(guān)鍵詞向量和語(yǔ)句意圖向量的第一損失和第二損失；