[發(fā)明專(zhuān)利]一種文檔聚類(lèi)方法及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201711423310.4
• 申請(qǐng)日: 2017-12-25
• 公開(kāi)（公告）號(hào): CN110019806B
• 公開(kāi)（公告）日: 2021-08-06
• 發(fā)明（設(shè)計(jì)）人: 符晶晶;盛家波
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中移動(dòng)信息技術(shù)有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06F40/284
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郭潤(rùn)湘

1.一種文檔聚類(lèi)方法，其特征在于，包括：

確定待聚類(lèi)的文檔中的每篇文檔的備選詞集合包括的詞的重要性值，所述備選詞集合包括對(duì)所述每篇文檔進(jìn)行分詞處理后獲得的詞，所述重要性值用于表示詞與所述詞所在的文檔的關(guān)聯(lián)程度；

確定所述每篇文檔的備選詞集合中重要性值位于預(yù)設(shè)范圍內(nèi)的至少一個(gè)詞；

將所述至少一個(gè)詞組成所述每篇文檔的多元組，所述多元組用于完成對(duì)所述每篇文檔的聚類(lèi)；所述多元組為三元組，所述三元組至少包括一個(gè)名詞和一個(gè)動(dòng)詞；

獲取所述每篇文檔的多元組中的每個(gè)詞的詞向量，根據(jù)所述每篇文檔的多元組中的每個(gè)詞的詞向量，獲取所述每篇文檔的多元組的詞向量模型，其中，所述每個(gè)詞的詞向量是通過(guò)Word2vector工具計(jì)算得到的；

確定待聚類(lèi)的文檔中的所有文檔的多元組的詞向量模型之間的相似度，根據(jù)相似度將待聚類(lèi)的文檔中的所有文檔聚合為至少一個(gè)簇，其中，同一個(gè)簇中包括的文檔的多元組的詞向量模型之間的相似度位于設(shè)定范圍內(nèi)。

2.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲取所述每篇文檔的標(biāo)題；

對(duì)所述每篇文檔的標(biāo)題進(jìn)行分詞處理；

根據(jù)所述每篇文檔的分詞處理結(jié)果得到所述每篇文檔的備選詞集合。

3.如權(quán)利要求2所述的方法，其特征在于，根據(jù)所述每篇文檔的分詞處理結(jié)果得到所述每篇文檔的備選詞集合，包括：

將所述每篇文檔的分詞處理結(jié)果進(jìn)行詞性過(guò)濾，獲得所述每篇文檔中的詞性為名詞和/或動(dòng)詞的目標(biāo)詞；

將所述每篇文檔的目標(biāo)詞組成所述每篇文檔的備選詞集合。

4.一種用于文檔聚類(lèi)的設(shè)備，其特征在于，包括：

第一確定單元，用于確定待聚類(lèi)的文檔中的每篇文檔的備選詞集合包括的詞的重要性值，所述備選詞集合包括對(duì)所述每篇文檔進(jìn)行分詞處理后獲得的詞，所述重要性值用于表示詞與所述詞所在的文檔的關(guān)聯(lián)程度；

第二確定單元，用于確定所述每篇文檔的備選詞集合中重要性值位于預(yù)設(shè)范圍內(nèi)的至少一個(gè)詞；

組成單元，用于將所述至少一個(gè)詞組成所述每篇文檔的多元組，所述多元組用于完成對(duì)所述每篇文檔的聚類(lèi)；所述多元組為三元組，所述三元組至少包括一個(gè)名詞和一個(gè)動(dòng)詞；

第三確定單元，用于獲取所述每篇文檔的多元組中的每個(gè)詞的詞向量，根據(jù)所述每篇文檔的多元組中的每個(gè)詞的詞向量，獲取所述每篇文檔的多元組的詞向量模型，其中，所述每個(gè)詞的詞向量是通過(guò)Word2vector工具計(jì)算得到的；

確定待聚類(lèi)的文檔中的所有文檔的多元組的詞向量模型之間的相似度，根據(jù)相似度將待聚類(lèi)的文檔中的所有文檔聚合為至少一個(gè)簇，其中，同一個(gè)簇中包括的文檔的多元組的詞向量模型之間的相似度位于設(shè)定范圍內(nèi)。

5.如權(quán)利要求4所述的設(shè)備，其特征在于，所述設(shè)備還包括獲取單元，所述獲取單元用于：

獲取所述每篇文檔的標(biāo)題；

對(duì)所述每篇文檔的標(biāo)題進(jìn)行分詞處理；

根據(jù)所述每篇文檔的分詞處理結(jié)果得到所述每篇文檔的備選詞集合。

6.一種用于文檔聚類(lèi)的設(shè)備，其特征在于，包括：

至少一個(gè)處理器，以及

與所述至少一個(gè)處理器連接的存儲(chǔ)器；

其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述至少一個(gè)處理器通過(guò)執(zhí)行所述存儲(chǔ)器存儲(chǔ)的指令，執(zhí)行如權(quán)利要求1-3任一項(xiàng)所述的方法。

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于：

所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，當(dāng)所述計(jì)算機(jī)指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行如權(quán)利要求1-3中任一項(xiàng)所述的方法。