[發(fā)明專利]一種文本聚類方法、文本聚類裝置及終端設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201811495672.9
• 申請(qǐng)日: 2018-12-07
• 公開(kāi)（公告）號(hào): CN109766437A
• 公開(kāi)（公告）日: 2019-05-17
• 發(fā)明（設(shè)計(jì)）人: 劉志勇;吳又奎;任曉德
• 申請(qǐng)（專利權(quán)）人: 中科恒運(yùn)股份有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F17/27
• 代理公司: 石家莊國(guó)為知識(shí)產(chǎn)權(quán)事務(wù)所 13120
• 代理人: 秦敏華

1.一種文本聚類方法，其特征在于，包括：

獲取至少兩個(gè)待聚類文本，并分別對(duì)每個(gè)待聚類文本進(jìn)行分詞預(yù)處理得到多個(gè)文本特征詞；

利用Word2vec分別將每個(gè)文本特征詞轉(zhuǎn)換成詞向量，并將所述待聚類文本中的所有詞向量進(jìn)行疊加得到所述待聚類文本的文本向量；

利用預(yù)設(shè)的聚類模型對(duì)所述待聚類文本的文本向量進(jìn)行聚類，得到聚類結(jié)果。

2.如權(quán)利要求1所述的文本聚類方法，其特征在于，所述分別對(duì)每個(gè)待聚類文本進(jìn)行分詞預(yù)處理得到多個(gè)文本特征詞，包括：

去除所述訓(xùn)練文本中的標(biāo)點(diǎn)符號(hào)得到第一預(yù)處理文本；

去除所述第一預(yù)處理文本中的停用詞得到第二預(yù)處理文本；

對(duì)所述第二預(yù)處理文本進(jìn)行分詞處理得到多個(gè)文本特征詞。

3.如權(quán)利要求1所述的文本聚類方法，其特征在于，所述將所述待聚類文本中的所有詞向量進(jìn)行疊加得到所述待聚類文本的文本向量，包括：

利用TF-IDF算法計(jì)算每個(gè)文本特征詞的權(quán)值；

將所述文本特征詞的詞向量乘以該文本特征詞對(duì)應(yīng)的權(quán)值得到所述文本特征詞的特征向量；

將所有的文本特征詞的特征向量進(jìn)行疊加得到所述待聚類文本的文本向量。

4.如權(quán)利要求1所述的文本聚類方法，其特征在于，所述利用預(yù)設(shè)的聚類模型對(duì)所述待聚類文本的文本向量進(jìn)行聚類，得到聚類結(jié)果，包括：

獲取初始化參數(shù)，所述初始化參數(shù)包括預(yù)設(shè)閾值和預(yù)設(shè)學(xué)習(xí)率；

從所有的文本向量中選取一個(gè)文本向量標(biāo)記為中心向量，將所有的文本向量中除所述中心向量外的文本向量標(biāo)記為待聚類向量，并依次將每個(gè)待聚類向量輸入所述聚類模型進(jìn)行聚類；

在所有的待聚類向量均已輸入所述聚類模型之后，輸出聚類結(jié)果。

5.如權(quán)利要求4所述的文本聚類方法，其特征在于，所述依次將每個(gè)待聚類向量輸入所述聚類模型進(jìn)行聚類，包括：

通過(guò)net_ij＝W_iX_j計(jì)算所述待聚類向量與所述中心向量之間的激活值，所述net_ij為第j個(gè)待聚類向量與第i個(gè)中心向量之間的激活值，所述W_i為第i個(gè)中心向量，所述X_j為第j個(gè)待聚類向量；

從計(jì)算出的所述待聚類向量與所述中心向量之間的所有激活值中選擇最大的激活值，將所述最大的激活值對(duì)應(yīng)的中心向量作為目標(biāo)向量，并判斷所述最大的激活值是否大于所述預(yù)設(shè)閾值；

若所述最大的激活值大于所述預(yù)設(shè)閾值，則利用W_t＝W_t+ηX_j對(duì)所述目標(biāo)向量進(jìn)行更新，所述W_t為所述目標(biāo)向量，所述η為所述預(yù)設(shè)學(xué)習(xí)率；

若所述最大的激活值小于或等于所述預(yù)設(shè)閾值，則將所述待聚類向量標(biāo)記為中心向量，并將中心向量的個(gè)數(shù)加1。

6.如權(quán)利要求5所述的文本聚類方法，其特征在于，在得到聚類結(jié)果之后，還包括：

獲取所述聚類結(jié)果中的中心向量以及每一類中包含的文本向量，并統(tǒng)計(jì)中心向量的個(gè)數(shù)，將所述中心向量的個(gè)數(shù)作為類的個(gè)數(shù)；

利用計(jì)算聚類指數(shù)，并判斷所述聚類指數(shù)是否在預(yù)設(shè)范圍內(nèi)；

若所述聚類指數(shù)不在預(yù)設(shè)范圍內(nèi)，則重新利用預(yù)設(shè)的聚類模型對(duì)所述待聚類文本的文本向量進(jìn)行聚類；

其中，所述DB為所述聚類指數(shù)，所述K為所述類的個(gè)數(shù)，所述D_m表示第m類中所有文本向量到第m類的中心向量的平均距離，所述D_n表示第n類中所有文本向量到第n類的中心向量的平均距離，所述C_mn表示第m類的中心向量與第n類的中心向量之間的距離。

7.如權(quán)利要求1所述的文本聚類方法，其特征在于，在利用預(yù)設(shè)的聚類模型對(duì)所述待聚類文本的文本向量進(jìn)行聚類之前，還包括：

對(duì)所述文本向量進(jìn)行歸一化處理。