[發明專利]一種領域術語抽取的方法

有效

• 申請號: 201410831590.2
• 申請日: 2014-12-26
• 公開（公告）號: CN104598530B
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 江潮;張芃
• 申請（專利權）人: 語聯網（武漢）信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京康盛知識產權代理有限公司 11331
• 代理人: 張宇峰

1.一種領域術語抽取的方法，其特征在于，包括：

對原始語料以語素為單位進行任意長度的切分，獲得若干候選術語，其中，每個所述候選術語由至少二個語素組成；

從詞頻、互信息、左右熵、獨立性和結構多個維度對每個所述候選術語進行分析，確定該候選術語的多個特征參數；

利用確定的所述多個特征參數，計算出該候選術語的領域術語度；

抽取所述領域術語度高于閾值的候選術語作為新的領域術語；

其中，按照如下公式計算出每個候選術語的領域術語度Termhood：

Termhood＝K₁·P+K₂·MI+K₃·LRH+K₄·IPW+K₅·IPC+K₆·PC

其中，P為候選術語在所述原始語料中的出現概率；MI為候選術語的兩部分的互信息的最小值，其中候選術語被分割為任意長度的兩部分；LRH為候選術語的左右熵；IPW為候選術語具有的每個語素在歷史語料庫中獨立成詞的概率；IPC為候選術語的每個語素在所述歷史語料庫中處于詞頭位置、詞中位置和詞尾位置的出現概率；PC為候選術語中的領域概率；K₁、K₂、K₃、K₄、K₅和K₆為通過給定樣本利用最小二乘法計算出的領域術語度調節系數，所述領域術語度調節系數為多元線性回歸系數；

其中，按照如下公式計算候選術語C獨立成詞的概率IPW(C)：

IPW(C)＝IPW(c₁c₂…c₁)＝IPW(c₁)·IPW(c₂)·…·IPW(c_l)；

其中，c₁、c₂、…、c_l分別為候選術語C中相應位置的語素，IPW(c₁)、IPW(c₂)、…、IPW(c_l)為每個語素獨立成詞的概率；

其中，按照如下公式計算候選術語中的每個語素x獨立成詞的概率IPW(x)：

I P W ( x ) = w o r d ( x ) t i m e s ( x ) ]]>

其中，word(x)為語素x在歷史語料庫中獨立成詞的次數，times(x)表示語素x在歷史語料庫中出現的總次數；

其中，對于待計算的l元字符串C＝c₁c₂…c_l，根據內部詞概率表，計算IPC的方法為：

I P C = I P C ( c 1 , 0 ) · I P C ( c l , 2 ) · 1 l - 2 Σ i = 2 l - 1 I P C ( c i , 1 ) 3 ]]>

其中，IPC(x,pos)表示語素x出現在位置pos的概率；pos取值為{0,1,2}，0表示位置在詞頭、1表示位置在詞中、2表示位置在詞尾；

其中，計算語素x出現在術語的詞頭、詞中、詞尾的概率，從而得到包含所有語素的內部詞概率表的方式如下：

I P C ( x , 0 ) = t i m e s ( x * ) t i m e s ( x * ) + t i m e s ( * x * ) + t i m e s ( * x ) ]]>

I P C ( x , 1 ) = t i m e s ( * x * ) t i m e s ( x * ) + t i m e s ( * c i * ) + t i m e s ( * x ) ]]>

I P C ( x , 2 ) = t i m e s ( * x ) t i m e s ( x * ) + t i m e s ( * x * ) + t i m e s ( * x ) ]]>

其中，“*”表示和語素x組成術語的前后語素組合，times(x)表示術語x在術語語料庫中的出現次數；

其中，照如下公式計算候選術語的領域概率PC：

P C = Π i = 1 n P ( F _ c i ) n ]]>

其中，P(F_c_i)為候選術語的每個語素或語素組合在歷史語料庫中的出現概率，n為候選術語的語素個數或語素組合的個數。