[發明專利]一種基于循環神經網絡的輸入方法及裝置

有效

• 申請號: 201711217459.7
• 申請日: 2017-11-28
• 公開（公告）號: CN108009150B
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 阮翀
• 申請（專利權）人: 北京新美互通科技有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/205;G06N3/02
• 代理公司: 北京弘權知識產權代理事務所(普通合伙) 11363
• 代理人: 逯長明;許偉群

本發明公開了一種基于循環神經網絡的輸入方法及裝置，該方法中，在獲取詞向量矩陣后，根據詞向量矩陣構建過完備基底矩陣，根據過完備基底矩陣構建稀疏表示下標矩陣和稀疏表示系數矩陣。需要推薦候選詞時，根據過完備基底矩陣、稀疏表示下標矩陣和稀疏表示系數矩陣，獲取所需詞語的詞向量，根據該詞向量和循環神經網絡模型獲取候選詞。本發明通過過完備基底矩陣、稀疏表示下標矩陣和稀疏表示系數矩陣獲取各個詞語的詞向量。而過完備基底矩陣、稀疏表示下標矩陣和稀疏表示系數矩陣的容量之和小于詞向量矩陣，本發明的方案占用終端設備的空間較小，且計算量較小，從而減少對終端設備的存儲能力和運量能力的需求，能夠在多種終端設備中應用。

技術領域

本申請涉及信息輸入領域，尤其涉及一種基于循環神經網絡的輸入方法及裝置。

背景技術

隨著科技發展，多種終端設備應運而生，例如手機、智能電視和計算機等，以滿足用戶的工作和娛樂需求。在終端設備的使用過程中，用戶有時需要輸入信息，以便終端設備根據接收到的信息執行相應的操作。為了提高輸入效率，優化用戶的體驗，現有輸入方法通常會提供候選詞推薦功能。該功能用于根據用戶輸入的前幾個詞語，推測出用戶希望輸入的下一個詞語，將其作為候選詞，并向用戶推薦。

目前，為了實現候選詞推薦功能，大部分輸入方法采用n元語言模型，這種輸入方法中，預先通過大規模的語料統計長度為n的詞組出現的頻率，據此構建n元語言模型，然后根據用戶已經輸入的前n-1個詞語以及該n元語言模型，確定需要向用戶推薦的下一個詞語(即候選詞)。但是，受到n元語言模型的模型大小和數據稀疏問題的制約，應用該方案時，往往只能根據輸入的前n-1個或n-2個詞語去推測候選詞，而無法考慮更長的上下文信息，導致推薦的候選詞不準確。例如，若用戶輸入“in two days”，且采用的n元語言模型為三元語言模型，則通過用戶輸入的“two days”確定候選詞，由于通過大規模語料統計，可以確定“two days ago”為常用詞組，則三元語言模型會推測候選詞為“ago”。但是，“in two daysago”是不符合英語語法的，“ago”并不是一個合適的候選詞，導致本次推薦的候選詞不準確。

為了解決上述輸入方法所具有的推薦候選詞不準確的問題，目前還可采用一種應用循環神經網絡的輸入方法。該方法中，需要構建循環神經網絡模型，并將每一個詞語分解成一個多維(通常為幾百維)的向量，各個詞語的向量構成詞向量矩陣。其中，若假設用于構建詞向量矩陣的詞語數量為n，每個詞語的詞向量維度為e，則詞向量矩陣通常為n*e矩陣。當需要向用戶推薦候選詞時，通過詞向量矩陣，能夠獲取用戶輸入的各個歷史詞語的詞向量，以及獲取當前詞的詞向量，將各個歷史詞語的詞向量和當前詞的詞向量輸入循環神經網絡，循環神經網絡即可輸出候選詞。該方法能夠基于用戶輸入的歷史詞語的詞向量以及當前輸入詞的詞向量，推測得到候選詞，從而提高了推薦候選詞的準確性。

但是，發明人在本申請的研究過程中發現，應用循環神經網絡的輸入方法時，每個詞語通常被表示成幾百維的向量，且詞表中往往有幾萬個單詞(即n的數值為幾萬)，這就導致詞向量矩陣中包含上萬個幾百維的向量(即e的數值為幾百)，容量極大，并且根據詞向量確定候選詞時的計算量較大，對終端設備的存儲能力和運量能力具有較高的要求，甚至難以在某些終端設備(例如手機)上應用。

發明內容

本發明實施例公開一種基于循環神經網絡的輸入方法及裝置，以解決現有技術中，詞向量矩陣容量極大，并且根據詞向量確定候選詞時的計算量較大，對終端設備的存儲能力和運量能力具有較高的要求的問題。

本發明的第一方面，公開一種基于循環神經網絡的輸入方法，包括：

獲取詞向量矩陣，其中，所述詞向量矩陣為n*e矩陣，n為詞語數量，e為每個詞語的詞向量維度；

獲取所述詞向量矩陣中b個詞語的詞向量，根據所述b個詞語的詞向量構建過完備基底矩陣，其中，所述過完備基底矩陣為b*e矩陣，所述過完備基底矩陣中的每個基底向量表示所述b個詞語對應的一個詞向量，b為小于n的正整數；