[發(fā)明專(zhuān)利]一種并行非監(jiān)督文本分類(lèi)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011521814.1
• 申請(qǐng)日: 2020-12-21
• 公開(kāi)（公告）號(hào): CN112818116A
• 公開(kāi)（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 杜少波
• 申請(qǐng)（專(zhuān)利權(quán)）人: 貴州商學(xué)院
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06K9/62
• 代理公司: 廣東有知貓知識(shí)產(chǎn)權(quán)代理有限公司 44681
• 代理人: 崔新芬

1.一種并行非監(jiān)督文本分類(lèi)方法，其特征在于：包括如下步驟：

計(jì)算中心點(diǎn)：采用層次聚類(lèi)算法或密度聚類(lèi)算法，計(jì)算向量化文本數(shù)據(jù)的中心點(diǎn)；

切分計(jì)算：基于模糊聚類(lèi)算法，以每一中心點(diǎn)的計(jì)算為一路，采用多路并行的方式進(jìn)行隸屬度計(jì)算；

輸出結(jié)果：將隸屬度計(jì)算的結(jié)果作為輸出結(jié)果返回。

2.如權(quán)利要求1所述的并行非監(jiān)督文本分類(lèi)方法，其特征在于：所述步驟計(jì)算中心點(diǎn)中，采用Canopy算法計(jì)算。

3.如權(quán)利要求1所述的并行非監(jiān)督文本分類(lèi)方法，其特征在于：所述步驟切分計(jì)算中，基于模糊C均值聚類(lèi)算法進(jìn)行計(jì)算。

4.如權(quán)利要求2所述的并行非監(jiān)督文本分類(lèi)方法，其特征在于：所述采用Canopy算法計(jì)算過(guò)程中，以最大點(diǎn)密度值點(diǎn)作為聚類(lèi)中心點(diǎn)。

5.如權(quán)利要求2所述的并行非監(jiān)督文本分類(lèi)方法，其特征在于：所述采用Canopy算法計(jì)算過(guò)程中，以最大權(quán)重值點(diǎn)作為聚類(lèi)中心點(diǎn)，最大權(quán)重值基于樣本點(diǎn)的周?chē)c(diǎn)數(shù)量、緊密度和簇相似度計(jì)算。

6.如權(quán)利要求5所述的并行非監(jiān)督文本分類(lèi)方法，其特征在于：所述最大權(quán)重值以如下公式進(jìn)行計(jì)算：

其中：ρ_i為樣本點(diǎn)的周?chē)c(diǎn)數(shù)量，α_i為樣本點(diǎn)的緊密度，即樣本點(diǎn)的周?chē)c(diǎn)距離均值，s_i為樣本點(diǎn)的簇相似度，即樣本點(diǎn)所在簇和其他簇之間的簇相似度。

7.如權(quán)利要求4或6所述的并行非監(jiān)督文本分類(lèi)方法，其特征在于：采用最大點(diǎn)密度值點(diǎn)作為第一聚類(lèi)中心點(diǎn)，除第一聚類(lèi)中心點(diǎn)所在簇之外其他點(diǎn)的最大權(quán)重值點(diǎn)作為第二聚類(lèi)中心點(diǎn)。

8.如權(quán)利要求1所述的并行非監(jiān)督文本分類(lèi)方法，其特征在于：所述多路并行的方式通過(guò)Spark環(huán)境實(shí)現(xiàn)。