[發(fā)明專利]一種文本聚類方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011630633.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112632285A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 封江濤;陳家澤;周浩;李磊
• 申請（專利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F16/33
• 代理公司: 北京遠智匯知識產(chǎn)權(quán)代理有限公司 11659
• 代理人: 范坤坤

1.一種文本聚類方法，其特征在于，包括：

獲取待聚類的目標(biāo)文本數(shù)據(jù)集；其中，所述目標(biāo)文本數(shù)據(jù)集中包括至少一條目標(biāo)文本數(shù)據(jù)；

針對所述目標(biāo)文本數(shù)據(jù)集中的每條目標(biāo)文本數(shù)據(jù)，計算所述目標(biāo)文本數(shù)據(jù)中各個詞的第一重要性分?jǐn)?shù)，并基于所述第一重要性分?jǐn)?shù)對所述目標(biāo)文本數(shù)據(jù)中的各個詞進行排序，生成與所述目標(biāo)文本數(shù)據(jù)對應(yīng)的待搜索詞序列；

針對各個待搜索詞序列，在預(yù)先構(gòu)建的字典樹中搜索與所述待搜索詞序列適配的目標(biāo)詞序列；其中，所述目標(biāo)詞序列屬于所述待搜索詞序列的子序列；

分別根據(jù)各個所述目標(biāo)詞序列對對應(yīng)的目標(biāo)文本數(shù)據(jù)進行聚類，得到文本聚類結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，針對所述目標(biāo)文本數(shù)據(jù)集中的每條目標(biāo)文本數(shù)據(jù)，計算所述目標(biāo)文本數(shù)據(jù)中各個詞的第一重要性分?jǐn)?shù)，包括：

針對所述目標(biāo)文本數(shù)據(jù)集中的每條目標(biāo)文本數(shù)據(jù)，分別計算所述目標(biāo)文本數(shù)據(jù)中各個詞的第一詞頻-逆文檔頻率；

分別根據(jù)各個第一詞頻-逆文檔頻率，計算所述目標(biāo)文本數(shù)據(jù)中各個詞的第一重要性分?jǐn)?shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，分別計算所述目標(biāo)文本數(shù)據(jù)中各個詞的第一詞頻-逆文檔頻率，包括：

分別確定所述目標(biāo)文本數(shù)據(jù)中各個詞的第一詞頻和第一逆文檔頻率；

根據(jù)所述第一詞頻和所述第一逆文檔頻率計算對應(yīng)詞的第一詞頻-逆文檔頻率；其中，所述第一詞頻-逆文檔頻率為所述第一詞頻與所述第一逆文檔頻率的乘積。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，分別確定所述目標(biāo)文本數(shù)據(jù)中各個詞的第一詞頻和第一逆文檔頻率，包括：

確定各個詞在所述目標(biāo)文本數(shù)據(jù)中的出現(xiàn)次數(shù)，并將所述出現(xiàn)次數(shù)作為對應(yīng)詞的第一詞頻；

獲取與所述字典樹對應(yīng)的參數(shù)配置信息；其中，所述參數(shù)配置信息包括逆文檔頻率列表，所述逆文檔頻率列表中包括所述字典樹中所包含的各個詞的逆文檔頻率；

在所述逆文檔頻率列表中，分別查找與所述目標(biāo)文本數(shù)據(jù)中的各個詞對應(yīng)的逆文檔頻率，作為所述目標(biāo)文本數(shù)據(jù)中各個詞的第一逆文檔頻率。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述參數(shù)配置信息還包括分布偏差列表；其中，所述分布偏差列表中包括所述字典樹中所包含的各個詞的分布偏差；

在分別根據(jù)各個第一詞頻-逆文檔頻率，計算所述目標(biāo)文本數(shù)據(jù)中各個詞的第一重要性分?jǐn)?shù)之前，還包括：

在所述分布偏差列表中，分別查找與所述目標(biāo)文本數(shù)據(jù)中的各個詞對應(yīng)的分布偏差，作為所述目標(biāo)文本數(shù)據(jù)中各個詞的第一分布偏差；

分別根據(jù)各個第一詞頻-逆文檔頻率，計算所述目標(biāo)文本數(shù)據(jù)中各個詞的第一重要性分?jǐn)?shù)，包括：

分別根據(jù)各個第一詞頻-逆文檔頻率及對應(yīng)的第一分布偏差，計算所述目標(biāo)文本數(shù)據(jù)中各個詞的第一重要性分?jǐn)?shù)；其中，所述第一重要性分?jǐn)?shù)為所述第一詞頻-逆文檔頻率與所述第一分布偏差的乘積。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，針對各個待搜索詞序列，在預(yù)先構(gòu)建的字典樹中搜索與所述待搜索詞序列適配的目標(biāo)詞序列，包括：

針對各個待搜索詞序列，在預(yù)先構(gòu)建的字典樹中按照從根節(jié)點到子節(jié)點的順序，搜索與所述待搜索詞序列適配的目標(biāo)詞序列。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在獲取待聚類的目標(biāo)文本數(shù)據(jù)集之前，還包括：

獲取總語料庫和目標(biāo)語料庫；其中，所述總語料庫包括所述目標(biāo)語料庫，所述目標(biāo)語料庫中包含至少一條樣本文本數(shù)據(jù)；

計算所述目標(biāo)語料庫中所包含的各個詞相對于所述總語料庫的第二分布偏差；

針對所述目標(biāo)語料庫中每條樣本文本數(shù)據(jù)，分別根據(jù)所述樣本文本數(shù)據(jù)中各個詞的第二分布偏差計算對應(yīng)詞的第二重要性分?jǐn)?shù)，并按照所述第二重要性分?jǐn)?shù)從大到小的順序?qū)γ織l樣本文本數(shù)據(jù)中的各個詞進行排序，生成與所述樣本文本數(shù)據(jù)對應(yīng)的樣本詞序列；

基于各個樣本詞序列構(gòu)建所述字典樹。