[發明專利]一種語言模型建立方法及裝置

有效

• 申請號: 201610052129.6
• 申請日: 2016-01-26
• 公開（公告）號: CN105760361B
• 公開（公告）日: 2019-06-14
• 發明（設計）人: 任禾;李軼杰
• 申請（專利權）人: 北京云知聲信息技術有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G10L15/26;G10L15/06
• 代理公司: 北京尚倫律師事務所 11477
• 代理人: 張俊國

1.一種語言模型建立方法，其特征在于，包括：

獲取預設領域的語料庫和通用語言模型，所述語料庫包括所述預設領域的多個元素以及每個元素在所述語料庫中所占的第一概率，所述通用語言模型包括多個元素以及每個元素在所述通用語言模型中所占的第二概率，所述元素包括字、詞以及字和/或詞的組合中的至少一種；

判斷所述元素是否存在于所述語料庫和/或所述通用語言模型中；

根據所述判斷結果，確定所述元素對應的第三概率；

根據所述元素對應的第三概率，建立所述預設領域的個性化語言模型；

所述根據所述判斷結果，確定所述元素對應的第三概率，包括：

當所述元素只存在于所述語料庫中時，將所述元素在所述語料庫中所占的第一概率乘以第一預設系數，獲得所述元素對應的第三概率，所述第一預設系數為小于1的正數；或者

所述根據所述判斷結果，確定所述元素對應的第三概率，包括：

當所述元素只存在于所述通用語言模型中時，將所述元素在所述通用語言模型中對應的第二概率乘以第二預設系數，獲得所述元素對應的第三概率，所述第二預設系數大于所述第一預設系數，所述第二預設系數為小于1的正數；或者

所述根據所述判斷結果，確定所述元素對應的第三概率，包括：

當所述元素同時存在于所述語料庫和所述通用語言模型中時，將所述元素在所述語料庫中所占的第一概率乘以第三預設系數，得到第一中間概率；

將所述元素在所述通用語言模型中所占的第二概率乘以第四預設系數，得到第二中間概率；

將所述第一中間概率和所述第二中間概率相加，得到所述元素對應的第三概率；

其中，所述第三預設系數和所述第四預設系數為小于1的正數，所述第四預設系數大于所述第三預設系數，所述第三預設系數和所述第四預設系數的和為1。

2.根據權利要求1所述的方法，其特征在于，所述根據所述元素對應的第三概率，建立所述預設領域的個性化語言模型，包括：

將所述元素對應的第三概率確定為所述元素在所述個性化語言模型中所占的概率；

根據所述元素在所述個性化語言模型中所占的概率，融合所述語料庫中的元素和所述通用語言模型中的元素，得到所述預設領域的個性化語言模型。

3.一種語言模型建立裝置，其特征在于，包括：

獲取模塊，用于獲取預設領域的語料庫和通用語言模型，所述語料庫包括所述預設領域的多個元素以及每個元素在所述語料庫中所占的第一概率，所述通用語言模型包括多個元素以及每個元素在所述通用語言模型中所占的第二概率，所述元素包括字、詞以及字和/或詞的組合中的至少一種；

判斷模塊，用于判斷所述元素是否存在于所述語料庫和/或所述通用語言模型中；

確定模塊，用于根據所述判斷結果，確定所述元素對應的第三概率；

建立模塊，用于根據所述元素對應的第三概率，建立所述預設領域的個性化語言模型；

所述判斷模塊包括：

第一計算子模塊，用于當所述元素只存在于所述語料庫中時，將所述元素在所述語料庫中所占的第一概率乘以第一預設系數，獲得所述元素對應的第三概率，所述第一預設系數為小于1的正數；或者

所述判斷模塊包括：

第二計算子模塊，用于當所述元素只存在于所述通用語言模型中時，將所述元素在所述通用語言模型中對應的第二概率乘以第二預設系數，獲得所述元素對應的第三概率，所述第二預設系數大于所述第一預設系數，所述第二預設系數為小于1的正數；或者

所述判斷模塊包括：

第三計算子模塊，用于當所述元素同時存在于所述語料庫和所述通用語言模型中時，將所述元素在所述語料庫中所占的第一概率乘以第三預設系數，得到第一中間概率；

第四計算子模塊，用于將所述元素在所述通用語言模型中所占的第二概率乘以第四預設系數，得到第二中間概率；

第五計算子模塊，用于將所述第一中間概率和所述第二中間概率相加，得到所述元素對應的第三概率；

其中，所述第三預設系數和所述第四預設系數為小于1的正數，所述第四預設系數大于所述第三預設系數，所述第三預設系數和所述第四預設系數的和為1。

4.根據權利要求3所述的裝置，其特征在于，所述建立模塊包括：

確定子模塊，用于將所述元素對應的第三概率確定為所述元素在所述個性化語言模型中所占的概率；

融合子模塊，用于根據所述元素在所述個性化語言模型中所占的概率，融合所述語料庫中的元素和所述通用語言模型中的元素，得到所述預設領域的個性化語言模型。