[發(fā)明專利]一種文本聚類方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810763151.0
• 申請日: 2018-07-12
• 公開（公告）號: CN108846142A
• 公開（公告）日: 2018-11-20
• 發(fā)明（設(shè)計(jì)）人: 曾廣移;李德華;鞏宇;盧勇;丁釗;楊小龍;梁莉雪;黃小鳳;王曉翼;楊宗強(qiáng)
• 申請（專利權(quán)）人: 南方電網(wǎng)調(diào)峰調(diào)頻發(fā)電有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27;G06N3/02
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

1.一種文本聚類方法，其特征在于，應(yīng)用于分布式集群中的服務(wù)器，包括：

獲取待聚類的目標(biāo)源文本；

采用最大概率法提取所述目標(biāo)源文本中的文本特征，獲得目標(biāo)數(shù)據(jù)；

從自身緩存中讀取預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型；

根據(jù)所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型和神經(jīng)網(wǎng)絡(luò)算法，對所述目標(biāo)數(shù)據(jù)進(jìn)行聚類分析，并生成與所述目標(biāo)源文本對應(yīng)的文件族。

2.根據(jù)權(quán)利要求1所述的文本聚類方法，其特征在于，所述采用最大概率法提取所述目標(biāo)源文本中的文本特征，獲得目標(biāo)數(shù)據(jù)，包括：

對所述目標(biāo)源文件進(jìn)行預(yù)處理，并從預(yù)處理后的目標(biāo)源文本中提取文本分詞，所述文本分詞包括：數(shù)字、日期、名字和詞性；

從所述文本分詞中提取所述文本特征，并通過所述最大概率法確定出現(xiàn)概率最大的文本特征，所述文本特征包括：詞權(quán)重、詞頻和逆文檔頻率。

3.根據(jù)權(quán)利要求1所述的文本聚類方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型的生成包括：

獲取目標(biāo)訓(xùn)練文本，并對所述目標(biāo)訓(xùn)練文本進(jìn)行歸一化處理；

基于隨機(jī)數(shù)，以及預(yù)設(shè)的連接值和閾值，對歸一化處理后的目標(biāo)訓(xùn)練文本進(jìn)行稀疏邏輯回歸，獲得目標(biāo)訓(xùn)練集合；

基于所述隨機(jī)數(shù)，所述連接值和所述閾值迭代計(jì)算所述目標(biāo)訓(xùn)練集合，生成所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型。

4.根據(jù)權(quán)利要求1所述的文本聚類方法，其特征在于，所述生成與所述目標(biāo)源文本對應(yīng)的文件族，包括：

通過向量空間模型和向量間空間夾角的余弦值生成所述文件族。

5.根據(jù)權(quán)利要求1-4任意一項(xiàng)所述的文本聚類方法，其特征在于，所述生成與所述目標(biāo)源文本對應(yīng)的文件族之后，還包括：

將所述文件族進(jìn)行可視化展示。

6.一種文本聚類裝置，其特征在于，應(yīng)用于分布式集群中的服務(wù)器，包括：

獲取模塊，用于獲取待聚類的目標(biāo)源文本；

提取模塊，用于采用最大概率法提取所述目標(biāo)源文本中的文本特征，獲得目標(biāo)數(shù)據(jù)；

讀取模塊，用于從自身緩存中讀取預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型；

聚類模塊，用于根據(jù)所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型和神經(jīng)網(wǎng)絡(luò)算法，對所述目標(biāo)數(shù)據(jù)進(jìn)行聚類分析，并生成與所述目標(biāo)源文本對應(yīng)的文件族。

7.根據(jù)權(quán)利要求6所述的文本聚類裝置，其特征在于，所述提取模塊包括：

預(yù)處理單元，用于對所述目標(biāo)源文件進(jìn)行預(yù)處理，并從預(yù)處理后的目標(biāo)源文本中提取文本分詞，所述文本分詞包括：數(shù)字、日期、名字和詞性；

提取單元，用于從所述文本分詞中提取所述文本特征，并通過所述最大概率法確定出現(xiàn)概率最大的文本特征，所述文本特征包括：詞權(quán)重、詞頻和逆文檔頻率。

8.根據(jù)權(quán)利要求6所述的文本聚類裝置，其特征在于，所述聚類模塊具體用于：

通過向量空間模型和向量間空間夾角的余弦值生成所述文件族。

9.一種文本聚類設(shè)備，其特征在于，包括：

存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；

處理器，用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-5任意一項(xiàng)所述的文本聚類方法的步驟。

10.一種可讀存儲(chǔ)介質(zhì)，其特征在于，所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-5任意一項(xiàng)所述的文本聚類方法的步驟。