[發明專利]一種文本預測方法和裝置

在審

• 申請號: 202010126248.8
• 申請日: 2020-02-26
• 公開（公告）號: CN111401072A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 韓慶宏;李紀為
• 申請（專利權）人: 北京香儂慧語科技有限責任公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 柳欣

本發明提供了一種文本預測方法和裝置，其中，該方法包括：獲取需要預測字符的文本，并對需要預測字符的所述文本中的字符進行處理，得到需要預測字符的所述文本的文本特征向量；利用變分自編碼器對需要預測字符的所述文本的所述文本特征向量進行正態分布變換，得到需要預測字符的所述文本的語義空間；其中，所述語義空間包括：所述文本中字符之間的語義關系和正態分布變換后所述文本的特征向量；對需要預測字符的所述文本的特征向量進行處理，得到所述文本的預測字符。通過本發明實施例提供的文本預測方法和裝置，可以提高文本預測的準確率。

技術領域

本發明涉及計算機技術領域，具體而言，涉及一種文本預測方 法和裝置。

背景技術

目前，語言預測模型大都基于線性模型得到，如長短時記憶力模 型或注意力轉換模型，這些語言預測模型的基本執行過程是，首先對 所給文本建模，然后用文本中上一個字符得到的特征向量來預測下一 個字符。這樣的方法非常簡單，但預測文本的準確率不高。

發明內容

為解決上述問題，本發明實施例的目的在于提供一種字符預測方 法和裝置。

第一方面，本發明實施例提供了一種文本預測方法，包括：

獲取需要預測字符的文本，并對需要預測字符的所述文本中的字 符進行處理，得到需要預測字符的所述文本的文本特征向量；

利用變分自編碼器對需要預測字符的所述文本的所述文本特征 向量進行正態分布變換，得到需要預測字符的所述文本的語義空間； 其中，所述語義空間包括：所述文本中字符之間的語義關系和正態分 布變換后所述文本的特征向量；

對需要預測字符的所述文本的特征向量進行處理，得到所述文本 的預測字符。

第二方面，本發明實施例還提供了一種文本預測裝置，包括：

獲取模塊，用于獲取需要預測字符的文本，并對需要預測字符的 所述文本中的字符進行處理，得到需要預測字符的所述文本的文本特 征向量；

處理模塊，用于利用變分自編碼器對需要預測字符的所述文本的 所述文本特征向量進行正態分布變換，得到需要預測字符的所述文本 的語義空間；其中，所述語義空間包括：所述文本中字符之間的語義 關系和正態分布變換后所述文本的特征向量；

預測模塊，用于對需要預測字符的所述文本的特征向量進行處理， 得到所述文本的預測字符。

第三方面，本發明實施例還提供了一種計算機可讀存儲介質，所 述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理 器運行時執行上述第一方面所述的方法的步驟。

第四方面，本發明實施例還提供了一種文本預測裝置，所述文本 預測裝置包括有存儲器，處理器以及一個或者一個以上的程序，其中 所述一個或者一個以上程序存儲于所述存儲器中，且經配置以由所述 處理器執行上述第一方面所述的方法的步驟。

本發明實施例上述第一方面至第四方面提供的方案中，通過利用 變分自編碼器對需要預測字符的所述文本的所述文本特征向量進行正 態分布變換，得到需要預測字符的所述文本的語義空間，所述語義空 間包括：所述文本中字符之間的語義關系和正態分布變換后所述文本 的特征向量，與相關技術中語言預測模型先對文本建模，然后用文本 中上一個字符的特征向量來預測下一個字符的方式相比，可以根據需 要預測字符的所述文本的語義空間中記載的所述文本中字符之間的語 義關系，對需要預測字符的所述文本的特征向量進行處理，得到所述 文本的預測字符，提高了文本預測的準確率；而且，要預測字符的所 述文本的語義空間中記載的所述文本中字符之間的語義關系，可以避 免預測文本過程中出現的“梯度消失”現象，進一步提高了文本預測 的準確率。

為使本發明的上述目的、特征和優點能更明顯易懂，下文特舉較 佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明