[發(fā)明專利]基于capsule網(wǎng)絡(luò)的輸入法輸出字符預(yù)測方法

在審

• 申請?zhí)枺?/td>: 201810565819.0
• 申請日: 2018-06-04
• 公開（公告）號: CN108762523A
• 公開（公告）日: 2018-11-06
• 發(fā)明（設(shè)計）人: 薛方正;古俊波;劉陽陽;羅勝元
• 申請（專利權(quán)）人: 重慶大學
• 主分類號: G06F3/023
• 分類號: G06F3/023;G06N3/04;G06N3/08
• 代理公司: 重慶晟軒知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 50238
• 代理人: 王海鳳

1.基于capsule網(wǎng)絡(luò)的輸入法輸出字符預(yù)測方法，其特征在于：包括如下步驟：

S1：獲取已知的文本數(shù)據(jù)集；

使用jieba分詞工具對獲取到的文本數(shù)據(jù)集進行分詞；

將已經(jīng)分詞過的文本數(shù)據(jù)集通過word2vec訓(xùn)練生成詞向量字典；

S2：設(shè)定迭代次數(shù)為N，預(yù)設(shè)每層神經(jīng)網(wǎng)絡(luò)中變換矩陣和加權(quán)系數(shù)的初始值；

將已經(jīng)分詞的文本數(shù)據(jù)集中的詞通過詞向量字典轉(zhuǎn)化為對應(yīng)詞向量，并對所有詞向量進行分組，每個詞向量組中包括x+1個詞向量，每輸入一個詞向量組完成一次迭代，同時每層神經(jīng)網(wǎng)絡(luò)中的變換矩陣更新一次，迭代次數(shù)完成，每層神經(jīng)網(wǎng)絡(luò)中的變換矩陣更新結(jié)束，即預(yù)測模型訓(xùn)練完成；

S3：當用戶輸入x個詞時，先將該x個詞分別轉(zhuǎn)化為詞向量，轉(zhuǎn)化后的詞向量構(gòu)成待預(yù)測詞向量組，將所述待預(yù)測詞向量組輸入步驟S2得到的預(yù)測模型，輸出預(yù)測值，最后將預(yù)測值分別轉(zhuǎn)化為詞輸出。

2.如權(quán)利要求1所述的基于capsule網(wǎng)絡(luò)的輸入法輸出字符預(yù)測方法，其特征在于：所述步驟S2中預(yù)測模型的訓(xùn)練方法如下：

S2a：設(shè)將已經(jīng)分詞的文本數(shù)據(jù)集中的詞轉(zhuǎn)化為詞向量，并對所有詞向量進行分組，得到M個詞向量組，其中每個詞向量組中第x+1個詞向量為期望值；

1)令k＝1；

2)

其中，表示輸入神經(jīng)元經(jīng)過變化矩陣之后的狀態(tài)，u_k|i表示輸入的第k個詞向量組的第i個詞的詞向量，W_ji表示神經(jīng)網(wǎng)絡(luò)輸入層到變換層的變換矩陣，i表示輸入詞向量的維度，j表示輸入詞向量經(jīng)過變化矩陣后的維度大小；

3)

其中，s表示對加權(quán)求和之后的值，c_i表示加權(quán)系數(shù)，x表示輸入的詞向量的個數(shù)；

4)

其中，v表示對s進行壓縮后的狀態(tài)；

5)將神經(jīng)網(wǎng)絡(luò)的實際輸出與詞向量字典中的每個詞向量采用如下公式做內(nèi)積；

Y＝softmax(av),其中a表示詞向量字典，

Y表示詞向量字典中詞的輸出概率，將詞向量字典中輸出概率最大的那個詞向量作為預(yù)測值；

6)將預(yù)測值與所述期望值做差，然后根據(jù)差值采用梯度下降法對W_ji進行更新，使用動態(tài)路由對c_i進行更新；

7)如果k≤M，則令k＝k+1，并返回步驟2)，否則執(zhí)行下一步；

8)保存模型參數(shù)W_ji|last，c_i|last；

S2b：所述預(yù)測模型為：

a)

其中，表示輸入神經(jīng)元經(jīng)過變化矩陣之后的狀態(tài)，u_i表示輸入的第i個詞的詞向量；

b)

其中，s表示對加權(quán)求和之后的一個狀態(tài)；

c)

其中，v表示對s進行壓縮后的狀態(tài)；

d)將神經(jīng)網(wǎng)絡(luò)的實際輸出與詞向量字典中的每個詞向量采用如下公式做內(nèi)積用于評價他們的相似度；

Y＝softmax(av),其中a表示詞向量字典，

Y表示詞向量字典中詞的輸出概率，將所有輸出概率從大到小排序，輸出概率值位于前Q位所對應(yīng)的詞向量作為預(yù)測值。