[發(fā)明專利]裁剪語言模型的方法及裝置

有效

• 申請?zhí)枺?/td>: 200810084614.7
• 申請日: 2008-03-13
• 公開（公告）號: CN101271450A
• 公開（公告）日: 2008-09-24
• 發(fā)明（設(shè)計(jì)）人: 李劍峰;王海峰;任登君;李國華
• 申請（專利權(quán)）人: 株式會社東芝
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京市中咨律師事務(wù)所
• 代理人: 李崢;劉瑞東

1.一種裁剪語言模型的方法，其中，該語言模型包括多個(gè)n元組及其概率，以及多個(gè)低階的元組及其概率；上述方法包括：

根據(jù)上述語言模型生成初始的基礎(chǔ)模型，該基礎(chǔ)模型不包括上述多個(gè)n元組及其概率；

利用訓(xùn)練語料庫計(jì)算上述多個(gè)n元組中的每一個(gè)對于實(shí)際應(yīng)用的重要性，該訓(xùn)練語料庫包括訓(xùn)練數(shù)據(jù)和參考答案；以及

將上述多個(gè)n元組中重要性高的至少一個(gè)n元組及其概率加入上述基礎(chǔ)模型，作為裁剪后的語言模型。

2.根據(jù)權(quán)利要求1所述的裁剪語言模型的方法，其中，上述利用訓(xùn)練語料庫計(jì)算上述多個(gè)n元組中的每一個(gè)對于實(shí)際應(yīng)用的重要性的步驟包括：

計(jì)算上述基礎(chǔ)模型對上述訓(xùn)練數(shù)據(jù)進(jìn)行上述實(shí)際應(yīng)用時(shí)出錯(cuò)的可能性；

計(jì)算上述n元組在上述訓(xùn)練語料庫中出現(xiàn)的次數(shù)；以及

計(jì)算上述n元組在上述實(shí)際應(yīng)用中出現(xiàn)的次數(shù)；

其中根據(jù)上述出錯(cuò)的可能性、上述n元組在上述訓(xùn)練語料庫中出現(xiàn)的次數(shù)、和上述n元組在上述實(shí)際應(yīng)用中出現(xiàn)的次數(shù)，計(jì)算上述重要性。

3.根據(jù)權(quán)利要求2所述的裁剪語言模型的方法，其中，上述利用訓(xùn)練語料庫計(jì)算上述多個(gè)n元組中的每一個(gè)對于實(shí)際應(yīng)用的重要性的步驟還包括：

利用上述基礎(chǔ)模型計(jì)算上述n元組的概率；

其中根據(jù)上述出錯(cuò)的可能性、上述n元組在上述訓(xùn)練語料庫中出現(xiàn)的次數(shù)、上述n元組在上述實(shí)際應(yīng)用中出現(xiàn)的次數(shù)、上述n元組在上述語言模型中的概率、和上述n元組的利用上述基礎(chǔ)模型計(jì)算出的概率，計(jì)算上述重要性。

4.根據(jù)權(quán)利要求3所述的裁剪語言模型的方法，其中，上述實(shí)際應(yīng)用是亞洲語言分詞，上述訓(xùn)練數(shù)據(jù)包括未切分字串，上述參考答案包括對上述未切分字串進(jìn)行切分的參考詞串，以及上述計(jì)算上述基礎(chǔ)模型對上述訓(xùn)練數(shù)據(jù)進(jìn)行上述實(shí)際應(yīng)用時(shí)出錯(cuò)的可能性的步驟包括：

計(jì)算上述基礎(chǔ)模型對上述參考詞串進(jìn)行評價(jià)的得分；以及

計(jì)算上述基礎(chǔ)模型對利用上述基礎(chǔ)模型對上述未切分字串進(jìn)行切分的多個(gè)候選詞串進(jìn)行評價(jià)的平均得分。

5.根據(jù)權(quán)利要求4所述的裁剪語言模型的方法，其中，上述計(jì)算上述n元組在上述訓(xùn)練語料庫中出現(xiàn)的次數(shù)的步驟包括：

計(jì)算上述n元組在上述參考詞串中出現(xiàn)的次數(shù)。

6.根據(jù)權(quán)利要求4所述的裁剪語言模型的方法，其中，上述計(jì)算上述n元組在上述實(shí)際應(yīng)用中出現(xiàn)的次數(shù)的步驟包括：

計(jì)算上述n元組在利用上述基礎(chǔ)模型對上述未切分字串進(jìn)行切分的多個(gè)候選詞串中出現(xiàn)的平均次數(shù)。

7.根據(jù)權(quán)利要求3所述的裁剪語言模型的方法，其中，上述實(shí)際應(yīng)用是語音識別，上述訓(xùn)練數(shù)據(jù)包括輸入語音，上述參考答案包括對上述輸入語音進(jìn)行識別的參考文本，以及上述計(jì)算上述基礎(chǔ)模型對上述訓(xùn)練數(shù)據(jù)進(jìn)行上述實(shí)際應(yīng)用時(shí)出錯(cuò)的可能性的步驟包括：

計(jì)算上述基礎(chǔ)模型對上述參考文本進(jìn)行評價(jià)的得分；以及

計(jì)算上述基礎(chǔ)模型對利用上述基礎(chǔ)模型對上述輸入語音進(jìn)行識別的多個(gè)候選文本進(jìn)行評價(jià)的平均得分。

8.根據(jù)權(quán)利要求7所述的裁剪語言模型的方法，其中，上述計(jì)算上述n元組在上述訓(xùn)練語料庫中出現(xiàn)的次數(shù)的步驟包括：

計(jì)算上述n元組在上述參考文本中出現(xiàn)的次數(shù)。

9.根據(jù)權(quán)利要求7所述的裁剪語言模型的方法，其中，上述計(jì)算上述n元組在上述實(shí)際應(yīng)用中出現(xiàn)的次數(shù)的步驟包括：

計(jì)算上述n元組在利用上述基礎(chǔ)模型對上述輸入語音進(jìn)行識別的多個(gè)候選文本中出現(xiàn)的平均次數(shù)。

10.根據(jù)權(quán)利要求3所述的裁剪語言模型的方法，其中，上述實(shí)際應(yīng)用是亞洲語言的計(jì)算機(jī)輸入，上述訓(xùn)練數(shù)據(jù)包括記音符號串，上述參考答案包括對上述記音符號串進(jìn)行轉(zhuǎn)換的參考詞串，以及上述計(jì)算上述基礎(chǔ)模型對上述訓(xùn)練數(shù)據(jù)進(jìn)行上述實(shí)際應(yīng)用時(shí)出錯(cuò)的可能性的步驟包括：

計(jì)算上述基礎(chǔ)模型對上述參考詞串進(jìn)行評價(jià)的得分；以及

計(jì)算上述基礎(chǔ)模型對利用上述基礎(chǔ)模型對上述記音符號串進(jìn)行轉(zhuǎn)換的多個(gè)候選詞串進(jìn)行評價(jià)的平均得分。

11.根據(jù)權(quán)利要求10所述的裁剪語言模型的方法，其中，上述計(jì)算上述n元組在上述訓(xùn)練語料庫中出現(xiàn)的次數(shù)的步驟包括：

計(jì)算上述n元組在上述參考詞串中出現(xiàn)的次數(shù)。