[發(fā)明專利]基于網(wǎng)絡(luò)流和分層知識庫的動態(tài)文本聚類方法

無效

• 申請?zhí)枺?/td>: 200710038634.6
• 申請日: 2007-03-29
• 公開（公告）號: CN101059805A
• 公開（公告）日: 2007-10-24
• 發(fā)明（設(shè)計）人: 閔可銳;劉昕;劉百祥;閆華
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/00;G06F17/28
• 代理公司: 上海正旦專利代理有限公司
• 代理人: 陸飛;盛志范

1.一種基于網(wǎng)絡(luò)流和分層知識庫的動態(tài)文本聚類方法，其特征在于：首先，提文本取動態(tài)特征向量：用詞頻/反轉(zhuǎn)文檔頻率公式TF·IDF和歸一化的方法提取文章的特征，包括從文本中提取關(guān)鍵詞和計算權(quán)重，并建立類別特征向量和文本特征向量；然后把文檔樣本和類別映射成網(wǎng)絡(luò)流圖，把類別歸并的方法變成網(wǎng)絡(luò)流的最大費用流的問題，并進行類別歸并；在計算的過程中，通過定義5層詞典結(jié)構(gòu)的詞群距離來計算文本和類別特征向量的相似度；然后進行類別合并，對新加入的文檔，根據(jù)TF、IDF公式計算新加入的文本特征和類別文本特征，調(diào)整類別的關(guān)鍵詞和權(quán)重，不斷地剔除掉那些權(quán)重小于一定閾值的關(guān)鍵字，保留語義合并后權(quán)重最高的特征，并作為該類新的表示向量，進而建立新的類別。

2.根據(jù)權(quán)利要求1所述的動態(tài)文本聚類方法，其特征在于所述提取文本動態(tài)特征向量步驟如下：針對單篇分詞后的文章，使用TF·IDF公式提取文章特征，并進一步歸一化處理：

TF · IDF ( W i ) = TF · log 2 ( N / DF i ) Σ j = 1 t TF · log 2 ( N / DF j ) - - - ( 1 ) ]]>

得到類別特征向量如下：

C → i = ∪ j = 1 L c { ( W j , f ( W j ) } - - - ( 2 ) ]]>

文本特征向量如下表示：

D → i = ∪ j = 1 L { ( W j , TF · IDF ( W j ) } - - - ( 3 ) ]]>

并用圖論算法中距離來度量文本特征向量和類別特征向量的相似度；其中，Wj為文檔中的單詞，N為文檔集中文檔的數(shù)量，TF為一個詞在一篇文檔中的頻率，DF_i為文檔集中包含單詞i的文檔數(shù)，L為一篇文檔的向量維度，Lc為文檔類別的向量維度，f(Wj)為關(guān)鍵詞權(quán)重。