[發(fā)明專利]一種面向低資源環(huán)境的高效口語理解識別方法

在審

• 申請?zhí)枺?/td>: 202010574286.X
• 申請日: 2020-06-22
• 公開（公告）號: CN111767377A
• 公開（公告）日: 2020-10-13
• 發(fā)明（設(shè)計）人: 莫益軍;孫焱
• 申請（專利權(quán)）人: 湖北馬斯特譜科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 武漢泰山北斗專利代理事務(wù)所(特殊普通合伙) 42250
• 代理人: 董佳佳

本發(fā)明適用于口語理解識別技術(shù)領(lǐng)域，提供一種面向低資源環(huán)境的高效口語理解識別方法，使用多任務(wù)學習將口語理解任務(wù)的兩個子任務(wù)進行聯(lián)合訓練，多任務(wù)學習可以利用隱含在兩個子任務(wù)的訓練信號中的特定領(lǐng)域信息來提高泛化能力；而且使用了字符級和詞語級別的詞向量，可以捕捉輸入文本不同粒度的特征；另外，使用張量分解的方法對模型進行了壓縮，進一步降低模型的參數(shù)量。本發(fā)明方法在有效降低模型參數(shù)的情況下仍然可以保證模型的準確度，可以適應(yīng)計算和存儲資源非常有限實際生產(chǎn)環(huán)境，大大降低了模型的部署成本，節(jié)能環(huán)保。

技術(shù)領(lǐng)域

本發(fā)明屬于口語理解識別技術(shù)領(lǐng)域，尤其涉及一種面向低資源環(huán)境的高效口語理解識別方法。

背景技術(shù)

隨著近年來科技的快速進步，能夠與客戶進行流暢對話的智能對話系統(tǒng)已經(jīng)在電商客服、天氣查詢、搜索引擎等領(lǐng)域替代了大量的人工重復(fù)勞動，不僅大大解放了生產(chǎn)力，而且可以為客戶提供快速精準的特色功能服務(wù)，因而成為現(xiàn)代科技特別是人工智能領(lǐng)域最為核心、最為熱門的技術(shù)之一。

口語理解識別任務(wù)是智能對話系統(tǒng)中非常重要的一環(huán)，目的是通過計算機自動從說話人產(chǎn)生的離散口語文字信息中提取出結(jié)構(gòu)化數(shù)據(jù)，用于支持對話系統(tǒng)后續(xù)的信息檢索、閱讀理解、問答生成等任務(wù)。通常情況下，口語理解識別任務(wù)可以繼續(xù)細分為兩個子任務(wù)，分別是語句意圖識別和語句詞槽填充。其中語句意圖識別主要完成對當前輸入語句的用戶意圖分析，語句詞槽填充則是從輸入語句中解析出諸如時間、地點、數(shù)量等等關(guān)鍵的名詞信息。

目前關(guān)于口語理解識別任務(wù)已有大量研究，特別是隨著深度學習的發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的方法以其高準確率得到廣泛的認可。目前的口語理解識別方法根據(jù)是否將語句識別和語句詞槽填充兩個任務(wù)進行獨立建模，可分為獨立建模和聯(lián)合建模兩種。其中效果較好的聯(lián)合模型又包括基于卷積神經(jīng)網(wǎng)絡(luò)等方法、基于雙向長短期記憶網(wǎng)絡(luò)的方法、基于變壓器模型的方法以及基于最新的BERT模型的方法等等。現(xiàn)有的方法主要目標是提高模型在口語理解任務(wù)的識別準確度，并沒有考慮如何在計算資源非常有限實際生產(chǎn)環(huán)境，平衡準確率和資源占用兩方面的因素，使得模型既能準確的預(yù)測同時占用少量資源，節(jié)能環(huán)保。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明的目的在于提供一種面向低資源環(huán)境的高效口語理解識別方法，旨在解決現(xiàn)有識別方法中識別準確度和資源占用兩者無法平衡的技術(shù)問題。

本發(fā)明采用如下技術(shù)方案：

所述面向低資源環(huán)境的高效口語理解識別方法包括下述步驟：

步驟S1、從合適的數(shù)據(jù)源中選取和設(shè)計用戶的常用查詢語句，從所述常用查詢語句中提取重要實體和屬性作為詞槽，并分析常用查詢語句的輸入目的作為意圖，以構(gòu)建口語理解識別數(shù)據(jù)集，數(shù)據(jù)集劃分為訓練集，驗證集和測試集；

步驟S2、構(gòu)建模型的嵌入表示層，包括詞語級別的嵌入層和字符級別的嵌入層；

步驟S3、在所述嵌入表示層上構(gòu)建模型的意圖識別神經(jīng)網(wǎng)絡(luò)分支；

步驟S4、在所述嵌入表示層上構(gòu)建模型的詞槽填充神經(jīng)網(wǎng)絡(luò)分支；

步驟S5、設(shè)置聯(lián)合訓練模型的損失函數(shù)，并選用優(yōu)化器對所述意圖識別神經(jīng)網(wǎng)絡(luò)分支和詞槽填充神經(jīng)網(wǎng)絡(luò)分支在訓練集上進行訓練，同時在驗證集上進行效果驗證并選取訓練超參數(shù)，最終在測試集上進行測試；

步驟S6、對訓練好的模型中參數(shù)量較大的全連接層的參數(shù)進行張量分解，構(gòu)建壓縮后的模型；

步驟S7、對壓縮后的模型繼續(xù)在訓練集上進行進一步訓練微調(diào)，以提升壓縮后模型的效果。

進一步的，所述步驟S1具體包括：

步驟S11、從合適的數(shù)據(jù)源中選取與任務(wù)相關(guān)的常用查詢語句，根據(jù)提問的頻率和質(zhì)量選取部分常用查詢語句作為待標注數(shù)據(jù)集；