[發(fā)明專利]一種基于統(tǒng)計(jì)規(guī)律的中文詞匯表未登錄詞比率的估計(jì)方法

有效

• 申請?zhí)枺?/td>: 201611049017.1
• 申請日: 2016-11-23
• 公開（公告）號: CN108109624B
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 張鵬遠(yuǎn);張一珂;黎塔;顏永紅
• 申請（專利權(quán)）人: 中國科學(xué)院聲學(xué)研究所;北京中科信利技術(shù)有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L15/10;G10L15/04
• 代理公司: 北京方安思達(dá)知識產(chǎn)權(quán)代理有限公司 11472
• 代理人: 王宇楊;楊青

1.一種基于統(tǒng)計(jì)規(guī)律的中文詞匯表未登錄詞比率的估計(jì)方法，其特征在于，包括：

步驟1)統(tǒng)計(jì)選定的中文詞匯表中包含的單字?jǐn)?shù)和總詞數(shù)；

步驟2)利用中文詞匯表對給定的文本進(jìn)行自動分詞，并統(tǒng)計(jì)自動分詞后文本中包含的單字?jǐn)?shù)和總詞數(shù)，計(jì)算獲得自動分詞后文本的平均詞長，其中文本中的總詞數(shù)包含單字詞，文本中的單字?jǐn)?shù)包含單字詞和被分割成單字的未登錄詞；

步驟3)計(jì)算自動分詞后文本中包含的單字?jǐn)?shù)占總詞數(shù)的比率，將其定義為單字率：

其中，#ch表示自動分詞后文本中包含的單字?jǐn)?shù)，#w表示自動分詞后文本中包含的總詞數(shù)；

步驟4)利用下述公式計(jì)算獲得未登錄詞數(shù)：

其中，#OOV表示未登錄詞數(shù)，ɑ表示先驗(yàn)因子，定義為中文平均詞長與單字詞長歐式距離的倒數(shù)，N_ch表示中文詞匯表中包含的單字?jǐn)?shù)，N_vocab表示中文詞匯表中包含的總詞數(shù)，L_OOV表示未登錄詞的平均長度；

步驟5)估計(jì)手工分詞后文本中包含的總詞數(shù)：

其中，#WORD表示手工分詞后文本中包含的總詞數(shù)，L_oracle表示手工分詞后文本的平均詞長，L_eval表示自動分詞后文本的平均詞長；

步驟6)將步驟4)中獲得的未登錄詞數(shù)#OOV，與步驟5)中獲得的手工分詞后文本中包含的總詞數(shù)之比，作為中文詞匯表未登錄詞比率的估計(jì)值；

進(jìn)而推導(dǎo)出中文詞匯表未登錄詞比率：

2.根據(jù)權(quán)利要求1所述基于統(tǒng)計(jì)規(guī)律的中文詞匯表未登錄詞比率的估計(jì)方法，其特征在于，所述自動分詞的方法采用最大匹配分詞算法或最大熵分詞算法或基于條件隨機(jī)場的分詞算法。