[發明專利]基于capsule網絡的輸入法輸出字符預測方法

在審

• 申請號: 201810565819.0
• 申請日: 2018-06-04
• 公開（公告）號: CN108762523A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 薛方正;古俊波;劉陽陽;羅勝元
• 申請（專利權）人: 重慶大學
• 主分類號: G06F3/023
• 分類號: G06F3/023;G06N3/04;G06N3/08
• 代理公司: 重慶晟軒知識產權代理事務所(普通合伙) 50238
• 代理人: 王海鳳

本發明涉及基于capsule網絡的輸入法輸出字符預測方法，包括如下步驟：S1獲取已知文本數據集(用作訓練集)并通過處理文本數據集訓練得到詞向量字典；S2設定迭代次數為N，隨機設置每層神經網絡中變換矩陣的初始值；采用已知訓練集訓練預測模型訓練；S3將用戶輸入的詞輸入預測模型進行預測。本發明運用了現在最新的神經網絡單元，它能夠捕捉到詞與詞之間更好的內在聯系，相比于傳統的預測方法，該方法更接近人類對語言的理解，因此，預測出來的詞往往是人們更加希望輸出的詞。

技術領域

本發明涉及計算機技術領域，具體涉及一種基于capsule網絡的輸入法輸出字符預測方法。

背景技術

對計算機而言，輸入輸出是最基本的功能。硬件方面，人們通過鼠標、鍵盤等輸入設備對計算機進行一系列的操作，從而獲得自己想要的資源；軟件方面，輸入法通過接受鍵盤的輸入來真正的實現人們想要輸入的內容。

現有的輸入法引擎，一般使用字典樹、n-gram、或者HMM模型來實現。其中字典樹是一種樹狀結構的詞表，可以高效的查詢用戶輸入的鍵碼組合，從而將用戶輸入的單個字符轉化為一個個單詞或者漢字，但是這種方法并不能通過用戶已經的輸入來預測用戶下一個想要的輸出。n-gram是一種統計語言模型，是可以解決上述問題，即通過用戶輸入的前n個詞，來預測用戶將要輸出第n+1個詞，但是，這種方法預測出來的準確率往往比較低，這就極大的影響了用戶體驗。

發明內容

針對現有技術存在預測準確率低的技術問題，本發明的目的是提供一種基于capsule網絡的輸入法輸出字符預測方法，該預測方法的預測準確率高。

為實現上述目的，本發明采用如下技術方案：基于capsule網絡的輸入法輸出字符預測方法，包括如下步驟：

S1：獲取已知的文本數據集；

使用jieba分詞工具對獲取到的文本數據集進行分詞；

將已經分詞過的文本數據集通過word2vec訓練生成詞向量字典；

S2：設定迭代次數為N，預設每層神經網絡中變換矩陣和加權系數的初始值；

將已經分詞的文本數據集中的詞通過詞向量字典轉化為對應詞向量，并對所有詞向量進行分組，每個詞向量組中包括x+1個詞向量，每輸入一個詞向量組完成一次迭代，同時每層神經網絡中的變換矩陣更新一次，迭代次數完成，每層神經網絡中的變換矩陣更新結束，即預測模型訓練完成；

S3：當用戶輸入x個詞時，先將該x個詞分別轉化為詞向量，轉化后的詞向量構成待預測詞向量組，將所述待預測詞向量組輸入步驟S2得到的預測模型，輸出預測值，最后將預測值分別轉化為詞輸出。

作為改進，所述步驟S2中預測模型的訓練方法如下：

S2a：設將已經分詞的文本數據集中的詞轉化為詞向量，并對所有詞向量進行分組，得到M個詞向量組，其中每個詞向量組中第x+1個詞向量為期望值；

1)令k＝1；

2)

其中，表示輸入神經元經過變化矩陣之后的狀態，u_k|i表示輸入的第k個詞向量組的第i個詞的詞向量，W_ji表示神經網絡輸入層到變換層的變換矩陣，i表示輸入詞向量的維度，j表示輸入詞向量經過變化矩陣后的維度大小；

3)

其中，s表示對加權求和之后的值，c_i表示加權系數，x表示輸入的詞向量的個數；

4)

其中，v表示對s進行壓縮后的狀態；

5)將神經網絡的實際輸出與詞向量字典中的每個詞向量采用如下公式做內積；