[發明專利]神經網絡語言模型壓縮方法及系統

在審

• 申請號: 201811518662.2
• 申請日: 2018-12-12
• 公開（公告）號: CN109448706A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 俞凱;劉奇;馬嬈
• 申請（專利權）人: 蘇州思必馳信息科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16;G06F16/36;G06N3/04;G06N3/08
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 方挺;車江華

本發明公開一種神經網絡語言模型壓縮方法及系統，其中，所述神經網絡語言模型包括輸入嵌入層、隱藏層和輸出嵌入層，所述方法包括：在所述輸入嵌入層與所述隱藏層之間設置第一投影層；在所述隱藏層和所述輸出嵌入層之間設置第二投影層；分別將所述輸入嵌入層、第一投影層、隱藏層、第二投影層和輸出嵌入層的參數權重矩陣配置為二值化權重矩陣以構成壓縮后的語言模型。本發明實施例的方法減小了所需的存儲空間，即便是當應用于具有大詞匯表的文本語料庫時，也能夠保持模型較小，使得訓練得到的語言模型能夠應用在嵌入式系統或便攜設備中。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種神經網絡語言模型壓縮方法及系統。

背景技術

語言模型，是對自然語言流暢性和合理程度的衡量，廣泛應用于語音識別、光學字符識別、機器翻譯、輸入法等領域中。它是針對某種語言建立的概率模型，能夠評估給定詞序列在語言中出現的概率。在語音識別任務中，語言模型與聲學模型通過解碼器結合在一起，合作完成識別功能。在綜合聲學模型和語言模型對候選句子的打分之后，解碼端將音頻信息轉化為最合理的文字。

相比傳統的統計語言模型，基于深層神經網絡的語言模型能夠取得更好的性能。RNN擁有對序列信息建模的能力，在語言模型的研究中有著廣泛的應用。LSTM是一種特殊的RNN結構，能夠更好地對長時依賴進行建模，并且解決了RNN網絡遇到的梯度消失與梯度爆炸的問題。因為LSTM有著這些優點，LSTM語言模型在許多NLP任務中取得了最先進的性能。雖然RNN語言模型越來越受歡迎，但它們有一個很大的局限性：當應用于具有大詞匯表的文本語料庫時，模型的大小將變得非常大，使得訓練得到的語言模型難以被應用在嵌入式系統或便攜設備中。另外，神經網絡的參數量過大和結構過于復雜還會影響語音識別的速度。

發明內容

本發明實施例提供一種神經網絡語言模型壓縮方法及系統，用于至少解決上述技術問題之一。

第一方面，本發明實施例提供一種神經網絡語言模型壓縮方法，包括：

所述神經網絡語言模型包括輸入嵌入層、隱藏層和輸出嵌入層，所述方法包括：

在所述輸入嵌入層與所述隱藏層之間設置第一投影層；

在所述隱藏層和所述輸出嵌入層之間設置第二投影層；

分別將所述輸入嵌入層、第一投影層、隱藏層、第二投影層和輸出嵌入層的參數權重矩陣配置為二值化權重矩陣，以構成壓縮后的語言模型。

第二方面，本發明實施例提供一種神經網絡語言模型壓縮系統，所述神經網絡語言模型包括輸入嵌入層、隱藏層和輸出嵌入層，所述系統包括：

第一設置模塊，用于在所述輸入嵌入層與所述隱藏層之間設置第一投影層；

第二設置模塊，用于在所述隱藏層和所述輸出嵌入層之間設置第二投影層；

權重矩陣配置模塊，用于分別將所述輸入嵌入層、第一投影層、隱藏層、第二投影層和輸出嵌入層的參數權重矩陣配置為二值化權重矩陣，以構成壓縮后的語言模型。

第三方面，本發明實施例提供一種存儲介質，所述存儲介質中存儲有一個或多個包括執行指令的程序，所述執行指令能夠被電子設備(包括但不限于計算機，服務器，或者網絡設備等)讀取并執行，以用于執行本發明上述任一項神經網絡語言模型壓縮方法。

第四方面，提供一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本發明上述任一項神經網絡語言模型壓縮方法。