[發(fā)明專利]文本話題的抽取方法、裝置及計算機設備

有效

• 申請?zhí)枺?/td>: 202010631669.6
• 申請日: 2020-07-03
• 公開（公告）號: CN111930885B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設計）人: 朱鑫
• 申請（專利權）人: 北京新聯(lián)財通咨詢有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/289;G06F40/30
• 代理公司: 北京中強智尚知識產(chǎn)權代理有限公司 11448
• 代理人: 黃耀威

1.一種文本話題的抽取方法，其特征在于，包括：

對文本集合中各個待進行話題抽取的輸入文本進行預處理，得到所述輸入文本對應的詞序列，具體包括：基于分詞技術分別將各個輸入文本切分為第一詞語，并得到第一詞序列；基于所述第一詞語的目標詞性確定與預設停用詞性匹配的第二詞語，以便從所述第一詞序列中剔除所述第二詞語，得到第二詞序列；

依據(jù)所述第二詞序列計算各個所述輸入文本的詞頻向量以及詞權重向量；

基于所述詞頻向量確定所述文本集合的第一話題抽取結果，其中，所述第一話題抽取結果包括預設數(shù)量個目標話題以及第二詞序列中與目標話題關聯(lián)的第三詞語，所述第三詞語是從各個輸入文本中提取出來的；

根據(jù)所述詞權重向量以及所述第一話題抽取結果輸出所述文本集合的第二話題抽取結果，所述第二話題抽取結果包括預設數(shù)量個目標話題以及所述目標話題下的第一文本集合，所述第一文本集合中至少包含一個所述輸入文本，具體包括：

依據(jù)所述第三詞語的數(shù)據(jù)標識，提取與各個所述目標話題關聯(lián)的第一輸入文本；

基于所述第一輸入文本的詞權重向量篩選與各個所述目標話題匹配的輸入文本，并構建第一文本集合；以及，若出現(xiàn)一個輸入文本對應多個不同目標話題，則對與同一目標話題關聯(lián)的第一輸入文本進行相似度驗證，將通過相似度驗證的第一輸入文本確定為與目標話題匹配的輸入文本，歸類至第一文本集合中；其中，在進行相似度驗證時，可對同屬于一個話題維度的第一輸入文本進行兩兩文本聚類，并計算各個文本聚類中詞權重向量的余弦相似度，利用余弦相似度計算結果對預估話題分類結果進行校驗，以便濾除同一話題維度內(nèi)與其他第一輸入文本余弦相似度小于預設閾值的輸入文本，并且對文本特征符合該話題維度內(nèi)文本聚類特征的第一輸入文本進行歸類，得到該目標話題對應的第一文本集合；

輸出所述目標話題以及對應的所述第一文本集合。

2.根據(jù)權利要求1所述的方法，其特征在于，所述依據(jù)所述詞序列計算各個所述輸入文本的詞頻向量以及詞權重向量，具體包括：

基于TF-IDF算法計算所述第二詞序列中各個所述第一詞語對應所述輸入文本的詞頻以及權重值；

利用所述第二詞序列以及所述詞頻構建關于所述輸入文本的詞頻向量；

根據(jù)所述第二詞序列以及所述詞權重構建關于所述輸入文本的詞權重向量。

3.根據(jù)權利要求2所述的方法，其特征在于，所述TF-IDF算法包括：第一計算公式和第二計算公式，所述基于TF-IDF算法計算所述第二詞序列中各個所述第一詞語對應所述輸入文本的詞頻以及權重值，包括：

根據(jù)所述第一計算公式計算所述輸入文本中所述第一詞語的詞頻；

根據(jù)所述第二計算公式計算所述輸入文本中所述第一詞語的逆向文件頻率；

將所述詞頻與所述逆向文件頻率的乘積，確定為所述第一詞語對應所述輸入文本的權重值。

4.根據(jù)權利要求3所述的方法，其特征在于，所述基于所述詞頻向量確定所述文本集合的第一話題抽取結果，具體包括：

利用文本詞典集合訓練確定LDA預測模型的最優(yōu)配置參數(shù)；

將所述LDA預測模型的配置參數(shù)調整為所述最優(yōu)配置參數(shù)，并將各個所述輸入文本的詞頻向量輸入?yún)?shù)調整后的LDA預測模型中，獲取得到第一話題抽取結果，所述第一話題抽取結果包括預設數(shù)量個目標話題以及所述第二詞序列中與所述目標話題關聯(lián)的第三詞語。

5.根據(jù)權利要求1所述的方法，其特征在于，所述基于所述第一輸入文本的詞權重向量篩選與各個所述目標話題匹配的輸入文本，并構建第一文本集合，具體包括：

若判定所述目標話題中僅存在一個關聯(lián)的第一輸入文本，則將所述關聯(lián)的第一輸入文本確定為與所述目標話題匹配的輸入文本，并歸類至所述目標話題對應的第一文本集合中；

若判定所述目標話題中存在多個關聯(lián)的第一輸入文本，則對所述關聯(lián)的第一輸入文本進行相似度驗證；

將通過所述相似度驗證的所述第一輸入文本確定為與所述目標話題匹配的輸入文本，歸類至所述第一文本集合中。