[發明專利]一種從文檔集中挖掘特征詞的系統和方法

有效

• 申請號: 201510017522.7
• 申請日: 2015-01-13
• 公開（公告）號: CN104573027B
• 公開（公告）日: 2018-07-24
• 發明（設計）人: 屠守中;黃民烈;朱小燕
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京漢昊知識產權代理事務所(普通合伙) 11370
• 代理人: 朱海波

1.一種從文檔集中挖掘特征詞的方法，包括：

對所述文檔集中的每個分句進行分詞處理，得到分詞結果表；

計算分詞結果表中每兩個分詞結果之間的正相關似然比統計量；

對于給定的來自分詞結果表的種子詞，對它與分詞結果表中的各分詞結果之間的正相關似然比統計量進行排序，基于排序從分詞結果表中提取一定數量的分詞結果作為特征詞輸出；

其中計算分詞結果表中每兩個分詞結果之間的正相關似然比統計量的步驟還包括：

基于每兩個分詞結果之間的正相關似然比統計量，得到與所述分詞結果表對應的正相關矩陣；

其中，正相關矩陣的每一行或每一列的各個值表示分詞結果表中的每個分詞結果對應的該分詞結果與分詞結果表中的各分詞結果之間的正相關似然比統計量。

2.根據權利要求1所述的方法，其中所述對所述文檔集中的每個分句進行分詞處理，得到分詞結果表的步驟具體包括：

對所述文檔集中的每個分句進行分詞處理，得到初步分詞結果表；

統計長度為1～N的、由所述初步分詞結果表中的詞連續組成的組合詞語分別出現在所述文檔集中的分句頻次，其中N是正整數，表示詞的個數；

基于對所述組合詞語的點互信息統計量的計算對所述組合詞語進行排序，基于排序至少抽取一部分的組合詞語，形成分詞結果表。

3.根據權利要求2所述的方法，其中所述基于排序至少抽取一部分的組合詞語，形成分詞結果表的步驟具體包括：

基于排序至少抽取一部分的組合詞語，形成候選分詞結果表；

基于對所述候選分詞結果表中各組合詞語的左信息熵和右信息熵的計算并與相應閾值比較，保留左信息熵和右信息熵均大于相應閾值的組合詞語，形成分詞結果表。

4.根據權利要求1所述的方法，其中所述對于給定的來自分詞結果表的種子詞，對它與分詞結果表中的各分詞結果之間的正相關似然比統計量進行排序，基于排序從分詞結果表中提取一定數量的分詞結果作為特征詞輸出的步驟包括：

對于給定的來自分詞結果表的種子詞，對它與分詞結果表中的各分詞結果之間的正相關似然比統計量所對應的所述正相關矩陣的一行或一列進行排序，基于排序從分詞結果表中提取一定數量的與該一行或該一列對應的分詞結果作為特征詞輸出。

5.根據權利要求1所述的方法，其中所述計算分詞結果表中每兩個分詞結果之間的正相關似然比統計量的步驟還包括：

對分詞結果表中每兩個分詞結果之間的正相關似然比統計量進行鄰近參考調整。

6.根據權利要求1所述的方法，其中所述計算分詞結果表中每兩個分詞結果之間的正相關似然比統計量的步驟還包括：

對所述正相關矩陣中的每個正相關似然比統計量進行鄰近參考調整；

其中所述鄰近參考調整具體包括：

取所述正相關矩陣中所述種子詞與分詞結果表中的其他分詞結果之間的正相關似然比統計量所在的正相關矩陣的一行或一列；

-a對于所述該一行或該一列的各正相關似然比統計量所在所述正相關矩陣的一列或一行按值排序，計算所述各正相關似然比統計量所在所述正相關矩陣的一列或一行中排名在一定閾值前的所有正相關似然比統計量的平均值，并以所述各正相關似然比統計量所在所述正相關矩陣的一列或一行中排名在一定閾值前的正相關似然比統計量和所述平均值進行求和后的均值來替換對應的一列或一行的原正相關似然比統計量；

循環執行上述步驟-a，直到替換后的正相關矩陣與上一次替換后的正相關矩陣的余弦距離小于一定閾值。

7.根據權利要求1-3任一項所述的方法，所述對所述文檔集中的每個分句進行分詞處理，得到分詞結果表還包括：

統計分詞結果表中由名詞或/和形容詞組成的組合詞語分別出現在所述文檔集中的分句頻次，從所述分詞結果表中過濾頻次低于一定閾值的由名詞或/和形容詞組成的組合詞語。

8.根據權利要求1所述的方法，其中從分詞結果表中提取一定數量的分詞結果作為特征詞輸出的步驟包括：

按照特定詞性從分詞結果表中提取一定數量的分詞結果輸出。