[發明專利]語言模型的訓練方法、裝置和電子設備

有效

• 申請號: 202011165544.5
• 申請日: 2020-10-27
• 公開（公告）號: CN112466292B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 張遼;蔣正翔;付曉寅
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

本申請公開了語言模型的訓練方法、裝置和電子設備，涉及語音、自然語言處理、深度學習技術領域。具體實現方案為：采用語義解析模塊獲取樣本文本對應的文法和文法中槽位對應的槽值；根據文法和文法中槽位對應的槽值生成文法對應的文法圖；根據樣本文本獲取文法圖中文法的權重、槽位的權重和槽值的權重；根據文法圖中文法的權重、槽位的權重和槽值的權重計算不同階的文法頻次；以及根據文法頻次進行語言模型的訓練。本申請的訓練方法，能夠直接根據文法圖中文法的權重、槽位的權重和槽值的權重計算不同階的文法頻次，解決了相關技術中語料數量過多的問題，文法頻次的計算效率更高，能夠顯著縮短語言模型的訓練時長。

技術領域

本申請涉及計算機技術領域中的語音、自然語言處理、深度學習技術領域，尤其涉及一種語言模型的訓練方法、裝置、電子設備和存儲介質。

背景技術

目前，語音識別技術在智能家電、機器人、車載終端等領域得到了廣泛的應用，相關技術中大多根據預先訓練好的語言模型對語音進行識別，為了提高語言模型的性能，往往需要大量的語料數據對語言模型進行訓練，語料數據數量過多，模型訓練需要耗費較多的存儲資源和計算資源，且訓練時間較長，訓練效率較低。

發明內容

提供了一種語言模型的訓練方法、裝置、電子設備、存儲介質和計算機程序產品。

根據第一方面，提供了一種語言模型的訓練方法，包括：采用語義解析模塊獲取樣本文本對應的文法和所述文法中槽位對應的槽值；根據所述文法和所述文法中所述槽位對應的槽值生成所述文法對應的文法圖；根據所述樣本文本獲取所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重；根據所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重計算不同階的文法頻次；以及根據所述文法頻次進行語言模型的訓練。

根據第二方面，提供了一種語言模型的訓練裝置，包括：語義解析模塊，用于獲取樣本文本對應的文法和所述文法中槽位對應的槽值；生成模塊，用于根據所述文法和所述文法中所述槽位對應的槽值生成所述文法對應的文法圖；第二獲取模塊，用于根據所述樣本文本獲取所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重；計算模塊，用于根據所述文法圖中所述文法的權重、所述槽位的權重和所述槽值的權重計算不同階的文法頻次；以及訓練模塊，用于根據所述文法頻次進行語言模型的訓練。

根據第三方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本申請第一方面所述的語言模型的訓練方法。

根據第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行本申請第一方面所述的語言模型的訓練方法。

根據第五方面，提供了一種計算機程序產品，包括計算機程序，其中，所述計算機程序被處理器執行時實現本申請第一方面所述的語言模型的訓練方法。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本申請的限定。其中：

圖1是根據本申請第一實施例的語言模型的訓練方法的流程示意圖；

圖2是根據本申請第二實施例的語言模型的訓練方法中文法圖的示意圖；

圖3是根據本申請第三實施例的語言模型的訓練方法中文法圖的示意圖；

圖4是根據本申請第四實施例的語言模型的訓練方法中根據文法和文法中槽位對應的槽值生成文法對應的文法圖的流程示意圖；