[發(fā)明專利]一種主題生成方法、裝置和設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910731685.X
• 申請日: 2019-08-08
• 公開（公告）號: CN110442733A
• 公開（公告）日: 2019-11-12
• 發(fā)明（設(shè)計）人: 婁東方;林金曙;金基東;盧長松;廖智霖;陳華華;張奇明;劉全;沈曉峰
• 申請（專利權(quán)）人: 恒生電子股份有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35;G06F16/33
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 朱靜

本申請實施例公開了一種主題生成方法、裝置、設(shè)備及存儲介質(zhì)，其中，該方法包括：獲取待生成主題的文本集；基于與該文本集領(lǐng)域匹配的詞向量模型，確定該文本集中各文本中分詞的詞向量；基于與該文本集領(lǐng)域匹配的知識圖譜，確定該文本集中各文本中分詞的知識圖譜信息；融合該文本集中各文本中分詞的知識圖譜信息和詞向量，訓(xùn)練主題模型得到文本集中各文本各自對應(yīng)的主題表示向量。如此，對主題模型的可擴(kuò)展性和可解釋性進(jìn)行有效地提升。

技術(shù)領(lǐng)域

本申請涉及文本挖掘技術(shù)領(lǐng)域，尤其涉及一種主題生成方法、裝置、設(shè)備以及存儲介質(zhì)。

背景技術(shù)

近年來，主題模型(Topic Mode)成為文本挖掘領(lǐng)域的熱點，它能夠發(fā)現(xiàn)文檔-詞語之間所蘊含的潛在語義關(guān)系(即主題)，將文檔看成一組主題的混合分布，而主題又是詞語的概率分布，從而將高緯度的“文檔-詞語”向量空間映射成低緯度的“文檔-主題”和“主題-詞語”空間，有效提高了文本信息處理的性能。

傳統(tǒng)的主題模型受到其采用的詞袋模型和非監(jiān)督學(xué)習(xí)模型的限制，其只會關(guān)注主題內(nèi)部分布的語義相關(guān)性信息，這就造成基于傳統(tǒng)的主題模型進(jìn)行熱點話題發(fā)現(xiàn)時，存在解釋性較差以及可擴(kuò)展性較差的問題。

發(fā)明內(nèi)容

本申請實施例提供了一種主題生成方法、裝置、設(shè)備及存儲介質(zhì)，能夠有效地提升主題模型的可擴(kuò)展性和可解釋性。

有鑒于此，本申請第一方面提供了一種主題生成方法，包括：

獲取待生成主題的文本集；

基于所述文本集領(lǐng)域匹配的詞向量模型，確定所述文本集中各文本中分詞的詞向量；

基于所述文本集領(lǐng)域匹配的知識圖譜，確定所述文本集中各文本中分詞的知識圖譜信息；

根據(jù)所述文本集融合所述文本集中各文本中分詞的知識圖譜信息和詞向量，訓(xùn)練主題模型得到所述文本集中各文本各自對應(yīng)的主題表示向量。

可選的，所述主題模型為高斯LDA主題模型，則所述基于與所述文本集領(lǐng)域相匹配的知識圖譜，確定所述文本集中各文本中分詞的知識圖譜信息，包括：

針對所述文本集中各文本，確定各文本中的實體分詞；

基于與所述文本集領(lǐng)域相匹配的知識圖譜，確定各實體分詞的知識圖譜信息。

可選的，所述主題模型為高斯LDA主題模型，則所述基于所述文本集領(lǐng)域匹配的詞向量模型確定所述文本集中各文本中分詞的詞向量，包括：

針對所述文本集中各文本，確定各文本中的非實體分詞；

基于與所述文本集領(lǐng)域相匹配的詞向量模型，確定各非實體分詞的詞向量。

可選的，所述主題模型為BTM主題模型時，則所述基于與所述文本集領(lǐng)域相匹配的知識圖譜，確定所述文本集中各文本中分詞的知識圖譜信息，包括：

針對所述文本集中各文本，確定各文本中的分詞；

基于與所述文本集領(lǐng)域相匹配的知識圖譜，確定各分詞的知識圖譜信息。

可選的，所述主題模型為BTM主題模型時，則所述基于所述文本集領(lǐng)域匹配的詞向量模型確定所述文本集中各文本中分詞的詞向量，包括：

針對所述文本集中各文本，確定各文本中的分詞；

基于與所述文本集領(lǐng)域相匹配的詞向量模型，確定各分詞的詞向量。

可選的，所述方法還包括：

通過K-Means算法，基于各文本對應(yīng)的主題向量進(jìn)行文本聚類得到K個類簇；

根據(jù)K個類簇中心的余弦相似度進(jìn)行二次聚合得到文本聚類結(jié)果。