[發明專利]一種基于用戶輸入場景動態加載語言模型的方法及裝置

在審

• 申請號: 201210276985.1
• 申請日: 2012-08-06
• 公開（公告）號: CN103577386A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 肖鏡輝;李鑫;劉廷超;湯利華
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/20
• 分類號: G06F17/20
• 代理公司: 北京億騰知識產權代理事務所 11309
• 代理人: 陳霽

技術領域

本發明涉及一種基于用戶輸入場景動態加載語言模型的方法及裝置。

背景技術

隨著計算機硬件性能的不斷提升和軟件智能性的不斷提高，人們越來越期望計算機能夠提供更加自然的人機交互方式，這表現在：（1）提供更加智能的漢語輸入法；（2）提供更加精確的語音識別功能；（3）提供連續手寫字符識別功能。而這三種交互方式的實現，底層都需要有語言建模技術的支持。語言建模技術的優劣，直接決定了語言模型性能的高低，也決定了上述人機交互軟件效果的好壞。

統計語言模型以概率論和數理統計理論為基礎，用來計算自然語言語句的概率，使得正確的語句的概率大于錯誤的語句的概率。對于一個包含m個詞的自然語言語句S＝w₁w₂…w_m，根據Bayes理論，其概率可以分解為若干個條件概率的乘積，即

P(S)=Πi=1mp(wi|w1w2...wi-1)]]>

從上述公式中可以看到，概率p(w_i|w₁w₂…w_i-1)的參數空間隨著變量i的值的增加呈指數級增長。以現有訓練語料的規模，無法準確的預測概率p(w_i|w₁w₂…w_i-1)的值。

語言建模技術，目前最常用的是Ngram建模技術。標準Ngram模型是目前最常用的語言模型。它將自然語言語句看作是一個馬爾科夫序列，滿足馬爾科夫屬性。具體來講，標準Ngram模型對條件概率p(w_i|w₁w₂…w_i-1)作如下假設：

有限歷史假設：當前詞語的概率僅僅與前n-1個詞相關，而與該語言單位的整個歷史信息無關。

時齊性假設：當前詞語的概率與它在句子中的位置無關。

根據上述兩個假設，語言模型的概率計算公式簡化為如下形式：

P(S)=Πi=1mp(wi|wi-n+1...wi-1)]]>