[發明專利]一種語言模型建立方法及裝置

有效

• 申請號: 201610052129.6
• 申請日: 2016-01-26
• 公開（公告）號: CN105760361B
• 公開（公告）日: 2019-06-14
• 發明（設計）人: 任禾;李軼杰
• 申請（專利權）人: 北京云知聲信息技術有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G10L15/26;G10L15/06
• 代理公司: 北京尚倫律師事務所 11477
• 代理人: 張俊國

本發明公開了一種語言模型建立方法及裝置。所述方法包括：獲取預設領域的語料庫和通用語言模型，所述語料庫包括所述預設領域的多個元素以及每個元素在所述語料庫中所占的第一概率，所述通用語言模型包括多個元素以及每個元素在所述通用語言模型中所占的第二概率；判斷所述元素是否存在于所述語料庫和/或所述通用語言模型中；根據所述判斷結果，確定所述元素對應的第三概率；根據所述元素對應的第三概率，建立所述預設領域的個性化語言模型。該技術方案使得個性化語言模型中元素所占的概率更加符合預設領域所在場景，從而實現了語言模型在不同領域中的個性化，提高了使用個性化語言模型識別文字的準確率。

技術領域

本發明涉及計算機語言技術領域，尤其涉及一種語言模型建立方法及裝置。

背景技術

目前，隨著電子科技的發展，語音輸入越來越被人們推崇，語音輸入是通過語音識別將人說話的內容轉換為文本的一種輸入方式。很多應用中的語音輸入還局限在語音輸入語音輸出，還不能很好的將語音輸入轉化為文字。由于在實際應用中，語音識別面對的環境十分復雜，需要處理各種不同領域的說話內容，識別性能很難達到百分之百，尤其是對于一些特殊領域，例如醫療領域、金融領域、通信領域等，存在很多專業術語在語音輸入中出現的幾率較低，電子設備將說話的內容轉換為文本時也很難準確地將語音轉換為專業術語。

發明內容

本發明實施例提供一種語言模型建立方法及裝置，用于實現不同領域中個性化語言模型的建立，從而提高個性化語言模型識別文字的準確率。

一種語言模型建立方法，包括以下步驟：

獲取預設領域的語料庫和通用語言模型，所述語料庫包括所述預設領域的多個元素以及每個元素在所述語料庫中所占的第一概率，所述通用語言模型包括多個元素以及每個元素在所述通用語言模型中所占的第二概率，所述元素包括字、詞以及字和/或詞的組合中的至少一種；

判斷所述元素是否存在于所述語料庫和/或所述通用語言模型中；

根據所述判斷結果，確定所述元素對應的第三概率；

根據所述元素對應的第三概率，建立所述預設領域的個性化語言模型。

本發明實施例的一些有益效果可以包括：

上述技術方案，能夠根據元素在語料庫和通用語言模型中存在的不同情況來確定元素對應的第三概率，進而根據第三概率建立個性化語言模型，使得個性化語言模型中元素所占的概率更加符合預設領域所在場景，從而實現了語言模型在不同領域中的個性化，提高了使用個性化語言模型識別文字的準確率。

在一個實施例中，所述根據所述判斷結果，確定所述元素對應的第三概率，包括：

當所述元素只存在于所述語料庫中時，將所述元素在所述語料庫中所占的第一概率乘以第一預設系數，獲得所述元素對應的第三概率，所述第一預設系數為小于1的正數。

該實施例中，當元素只存在于語料庫中時，通過將該元素在語料庫中所占的概率乘以小于1的系數，從而降低該元素的概率，避免了由于語料庫的數量級較低而導致元素在個性化語言模型中概率過高的情況，從而避免了將不屬于語料庫中的元素識別為語料庫中元素的情況，提高了使用個性化語言模型識別文字的準確率。

在一個實施例中，所述根據所述判斷結果，確定所述元素對應的第三概率，包括：

當所述元素只存在于所述通用語言模型中時，將所述元素在所述通用語言模型中對應的第二概率乘以第二預設系數，獲得所述元素對應的第三概率，所述第二預設系數大于所述第一預設系數，所述第二預設系數為小于1的正數。

該實施例中，當元素只存在于通用語言模型中時，通過將該元素在通用語言模型中所占的概率乘以小于1的系數，從而降低了該元素的概率，使得建立的個性化語言模型中元素的概率更加準確，提高了使用個性化語言模型識別文字的準確率。