[發明專利]一種構建語言模型的方法、輸入法及系統

有效

• 申請號: 201711367409.7
• 申請日: 2017-12-18
• 公開（公告）號: CN108108428B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 俞凱;錢彥旻;劉奇
• 申請（專利權）人: 蘇州思必馳信息科技有限公司;上海交通大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N3/08
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 方挺;車江華

1.一種構建語言模型的方法，包括：

獲取文本數據中的句子的未來向量，所述句子的未來向量為所述句子反向之后所提取的向量；

以所述文本數據中的句子中的前文為第一輸入，以所述句子的未來向量作為第一輸出，訓練得到未來向量預測網絡；

以文本數據中的句子中的前文為所述未來向量預測網絡的第一輸入，以預測得到對應于所述句子的前文的未來向量；

以預測得到的對應于所述句子的前文的未來向量和所述句子的前文為第二輸入，以對應于所述句子的前文的后續詞語為第二輸出，訓練得到主神經網絡；

基于所述未來向量預測網絡和所述主神經網絡生成所述語言模型。

2.根據權利要求1所述的方法，其中，所述獲取文本數據中的句子的未來向量包括：

將文本數據中的句子反向，并輸入長短期記憶網絡語言模型以訓練得到反向語言神經網絡；

獲取所述反向語言神經網絡的隱層輸出作為對應于所述文本數據中的句子的未來向量。

3.一種輸入法，應用于電子設備，包括：

獲取用戶已輸入的文字信息；

將所述文字信息導入權利要求1-2中任一項所述的語言模型，利用所述未來向量預測網絡基于所述已輸入的文字信息，生成對應于所述已輸入的文字信息的未來向量；利用所述主神經網絡基于所述已輸入的文字信息和所述已輸入的文字信息的未來向量，預測得到所述已輸入的文字信息的后續詞語；

將所述已輸入的文字信息的后續詞語提供給所述電子設備的用戶界面層，以展示給用戶。

4.一種構建語言模型的系統，包括：

未來向量獲取程序模塊，用于獲取文本數據中的句子的未來向量，所述句子的未來向量為所述句子反向之后所提取的向量；

預測網絡訓練程序模塊，用于以所述文本數據中的句子中的前文為第一輸入，以所述句子的未來向量作為第一輸出，訓練得到未來向量預測網絡；

主神經網絡訓練程序模塊，包括：

未來向量獲取程序單元，用于以文本數據中的句子中的前文為所述未來向量預測網絡的第一輸入，以預測得到對應于所述句子的前文的未來向量；

主神經網絡訓練程序單元，用于以預測得到的所述句子的前文的未來向量和所述句子的前文為第二輸入，以對應于所述句子的前文的后續詞語為第二輸出，訓練得到所述主神經網絡；

語言模型生成程序模塊，用于基于所述未來向量預測網絡和所述主神經網絡生成所述語言模型。

5.根據權利要求4所述的系統，其中，所述未來向量獲取程序模塊包括：

文本數據輸入程序單元，用于將文本數據中的句子反向，并輸入長短期記憶網絡語言模型以訓練得到反向語言神經網絡；

未來向量獲取程序單元，用于獲取所述反向語言神經網絡的隱層輸出作為對應于所述文本數據中的句子的未來向量。

6.一種輸入法系統，應用于電子設備，包括：

輸入信息獲取程序模塊，用于獲取用戶已輸入的文字信息；

詞語預測程序模塊，用于調用權利要求4-5中任一項所述的語言模型，以利用所述未來向量預測網絡基于所述已輸入的文字信息，生成對應于所述已輸入的文字信息的未來向量；利用所述主神經網絡基于所述已輸入的文字信息和所述已輸入的文字信息的未來向量，預測得到所述已輸入的文字信息的后續詞語；

展示程序模塊，用于將所述已輸入的文字信息的后續詞語提供給所述電子設備的用戶界面層，以展示給用戶。

7.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-3中任意一項所述方法的步驟。

8.一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-3中任意一項所述方法的步驟。