[發明專利]語言模型的訓練、預測詞的出現概率的方法和裝置

在審

• 申請號: 201910293401.3
• 申請日: 2019-04-12
• 公開（公告）號: CN111813891A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 李亞濱;潘復平
• 申請（專利權）人: 北京地平線機器人技術研發有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/31
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

公開了一種語言模型的訓練、基于語言模型預測詞的出現概率的方法和裝置、存儲介質和設備，其中的語言模型的訓練方法包括：從預訓練后的語言模型中獲取多元語法；將所述多元語法中的第二個歷史詞至目標詞作為給定歷史詞，獲取所述給定歷史詞對應的歷史狀態；將所述給定歷史詞對應的歷史狀態存儲在所述語言模型中的所述多元語法的目標詞的出現概率位置處。本公開實施例有利于提高語言模型的概率預測效率。

技術領域

本公開涉及自然語言處理技術領域，尤其涉及一種語言模型的訓練方法和裝置、基于語言模型預測詞的出現概率的方法和裝置、存儲介質以及電子設備。

背景技術

在語音識別、機器翻譯以及輸入法等多種應用中，往往需要利用語言模型來預測目標詞出現在相應的給定歷史詞之后的出現概率。

對于語言模型而言，如何快速準確的獲取出現概率，是一個值得關注的技術問題。

發明內容

為了解決上述技術問題，提出了本公開。本公開的實施例提供了一種語言模型的訓練方法和裝置、基于語言模型預測詞的出現概率的方法和裝置、存儲介質以及電子設備。

根據本公開實施例的一個方面，提供一種語言模型的訓練方法，包括：從預訓練后的語言模型中獲取多元語法；將所述多元語法中的第二個歷史詞至目標詞作為給定歷史詞，獲取所述給定歷史詞對應的歷史狀態；將所述給定歷史詞對應的歷史狀態存儲在所述語言模型中的所述多元語法的目標詞的出現概率位置處。

根據本公開實施例的另一方面，提供一種基于語言模型預測詞的出現概率的方法，包括：從語言模型中的第一多元語法的目標詞出現概率位置處，獲取所述第一多元語法的目標詞出現概率以及第一多元語法中的第二個歷史詞至目標詞形成的給定歷史詞對應的歷史狀態；根據所述給定歷史詞對應的歷史狀態和第二多元語法的目標詞，從所述語言模型中獲取所述第二多元語法的目標詞出現概率；其中，所述第一多元語法中的第二個歷史詞至最后一個歷史詞和目標詞，分別是所述第二多元語法中的第一個歷史詞至最后一個歷史詞。

根據本公開實施例的另一方面，提供一種語言模型的訓練裝置，包括：第一獲取模塊，用于從預訓練后的語言模型中獲取多元語法；第二獲取模塊，用于將所述第一獲取模塊獲取到的所述多元語法中的第二個歷史詞至目標詞作為給定歷史詞，獲取所述給定歷史詞對應的歷史狀態；狀態存儲模塊，用于將所述第二獲取模塊獲取到的所述給定歷史詞對應的歷史狀態存儲在所述語言模型中的所述多元語法的目標詞的出現概率位置處。

根據本公開實施例的另一方面，提供一種基于語言模型預測詞的出現概率的裝置，包括：第三獲取模塊，用于從語言模型中的第一多元語法對應的目標詞出現概率位置處，獲取所述第一多元語法對應的目標詞出現概率以及第一多元語法中的第二個歷史詞和目標詞形成的給定歷史詞對應的歷史狀態；第四獲取模塊，用于根據所述第三獲取模塊獲取到的所述給定歷史詞對應的歷史狀態和第二多元語法的目標詞，從所述語言模型中獲取所述第二多元語法對應的目標詞出現概率；其中，所述第一多元語法中的第二個歷史詞至最后一個歷史詞和目標詞，分別是所述第二多元語法中的第一個歷史詞至最后一個歷史詞。

基于本公開上述實施例提供的一種語言模型的訓練方法和裝置以及基于語言模型預測詞的出現概率的方法和裝置，通過在語言模型的預訓練后的訓練過程中，將多元語法中的第二個歷史詞至目標詞作為給定歷史詞，并將給定歷史詞對應的歷史狀態存儲在該語言模型中的該多元語法的目標詞的出現概率位置處，這樣，在利用該語言模型對待預測語料中的第一多元語法的目標詞進行出現概率預測時，本公開在成功獲得第一多元語法對應的目標詞出現概率的同時，可以獲得第二多元語法中的第一個歷史詞至最后一個歷史詞被作為給定歷史詞時的歷史狀態，從而本公開可以利用該歷史狀態和第二多元語法的目標詞，直接從語言模型中獲得第二多元語法的目標詞的出現概率；因此，本公開有利于避免需要多次計算和多次定位才能獲得第二多元語法的目標詞的出現概率的現象。由此可知，本公開提供的技術方案有利于提高語言模型的概率預測速度。