[發明專利]面向多源信息的混合文本話題發現方法

有效

• 申請號: 201910403543.0
• 申請日: 2019-05-15
• 公開（公告）號: CN110263153B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 吳旭;頡夏青;王昕喆;許晉;方濱興;陸月明
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/247;G06F40/289
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

1.一種面向多源信息的混合文本話題發現方法，具體包括以下步驟：

步驟一、對原始數據進行特征融合，得到特征均勻的結果集D；

步驟二、對步驟一中得到特征均勻的結果集D，基于狄利克雷多項式混合模型的聚類方法進行聚類；其特征在于，

所述步驟一中，對原始數據進行特征融合，具體包括以下子步驟：

步驟1.1定義長文本和短文本；

步驟1.2對每一個長文本，基于TextRank算法對長文本進行摘要提取；

步驟1.3對每一個短文本，基于哈工大同義詞詞林來對短文本進行同義詞拓展；

所述步驟二中，具體包括以下子步驟：

2.1初始化，設置α、β、K的值，將所有文檔劃分為K個簇，對每一個簇z，初始化m_z，n_z，n_z(w)計數為0，其中m_z表示簇z中所有文檔的總數目，n_z代表在簇z中所有文檔內所有詞語的個數，n_z(w)表示詞語w在簇z中出現的總次數；

2.2對于結果集D中每一篇文檔d，隨機為所有文檔d初始化一個簇，對于加入的簇，每加入一個文檔，將m_z的計數加1，將n_z的計數加N_d，N_d表示文檔d中所有詞語的個數，對每一個單詞，n_z(w)的計數加N_d(w)，N_d(w)為文檔d中，詞語w的個數；

2.3每篇文檔d的重新分配，依次對于每一個簇中的每一篇文檔d重新分配，且通過坍塌吉布斯采樣算法進行重新分配，通過坍塌吉布斯采樣算法，得到概率分布；

2.4根據所求得的概率分布，最終每個文本被分配給一個特定的簇，即每個文本屬于一個話題，那么第z個簇中w詞語出現的概率為：

其中n_z(w)表示詞語w在簇z中出現的總次數；φ_z(w)可以理解為詞語w對于簇z的重要程度，根據φ_z(w)的次序可以得到每個簇的代表詞。

2.如權利要求1所述的一種面向多源信息的混合文本話題發現方法，其特征在于，所述步驟1.2，具體包括以下子步驟：

1.2.a)預處理，將長文本內容按標點符號分割成句子，形成句子集V，對每個句子進行分詞、去除停用詞操作；

1.2.b)句子間相似度計算，基于句子間的相似度，構建邊集E，通過句子集V和邊集E構建出圖G，G＝(V，E)；每個句子S_i可以表示為N_i個詞語的集合，即

給定兩個句子S_i，S_j采用如下公式計算兩個句子間的相似度w_ij：

公式中，分子的意義是同時出現在兩個句子中的詞語的個數，|S_i|表示句子S_i中詞語的個數，|S_j|表示句子S_j中詞語的個數；

如果兩個句子之間的相似度大于某個設定的閾值，就認定這兩個句子語義關聯并將它們在圖G中連接起來，w_ij作為邊的權值；

1.2.c)基于該句子對相鄰句子的貢獻程度對句子重要程度計算；根據TextRank算法的計算公式，句子的權重WS(V_i)可以迭代表示為：

其中，d是阻尼系數，V_i表示句子集中的句子，In(V_i)代表在圖G中指向句子V_i的所有句子的集合，Out(V_j)代表在圖G中句子V_j指向的所有句子的集合，w_ij代表由句子S_i和s_j所連接的邊的權值，w_jk代表由句子S_j和S_k所連接的邊的權值；根據上述公式，迭代傳播計算各個句子節點的權值；

1.2.d)選取候選摘要句：對1.2.c)中的句子權值進行倒序排序，選取權值最高的前N個句子作為候選摘要句；

1.2.e)形成摘要，根據設置的字數或句子數要求，從候選摘要句中選擇句子組成摘要；輸入的長文本經過步驟1.2.a)至步驟1.2.d)后，輸出為該長文本的摘要，即得到文檔d，其中文檔d屬于結果集D。