[發(fā)明專(zhuān)利]文本去重的方法、裝置以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110891600.1
• 申請(qǐng)日: 2021-08-04
• 公開(kāi)（公告）號(hào): CN113688629A
• 公開(kāi)（公告）日: 2021-11-23
• 發(fā)明（設(shè)計(jì)）人: 金博昊;陳凌云;李寧;徐彬;陳炎;湯鑫;張文琰;李明旭;李文婷;陳旭;馬麗媛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 德邦證券股份有限公司
• 主分類(lèi)號(hào): G06F40/289
• 分類(lèi)號(hào): G06F40/289;G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京萬(wàn)思博知識(shí)產(chǎn)權(quán)代理有限公司 11694
• 代理人: 劉冀

1.一種文本去重的方法，用于實(shí)現(xiàn)海量文本的去重，其特征在于，包括：

根據(jù)預(yù)先設(shè)置的分類(lèi)模型，對(duì)獲取的資訊海量文本進(jìn)行分類(lèi)，確定多個(gè)第一海量文本；

利用預(yù)先設(shè)置的局部哈希敏感算法，對(duì)所述第一海量文本集合進(jìn)行文本去重，確定第二海量文本集合，其中所述第一海量文本集合中的文本包括文本內(nèi)容以及文本標(biāo)題；

利用所述局部哈希敏感算法，根據(jù)所述第二海量文本集合中的文本標(biāo)題對(duì)所述第二海量文本集合進(jìn)行去重，確定第三海量文本集合；以及

利用所述局部哈希敏感算法，根據(jù)所述第三海量文本集合中的文本內(nèi)容對(duì)所述第三海量文本集合進(jìn)行去重，確定第四海量文本集合。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用預(yù)先設(shè)置的局部哈希敏感算法，對(duì)第一海量文本集合進(jìn)行文本去重，確定第二海量文本集合的操作，包括：

將所述第一海量文本集合中的文本標(biāo)題進(jìn)行預(yù)定次數(shù)的復(fù)制，確定第五海量文本集合；以及

利用所述局部哈希敏感算法，對(duì)所述第五海量文本集合進(jìn)行文本去重，確定所述第二海量文本集合。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用預(yù)先設(shè)置的局部哈希敏感算法，對(duì)第一海量文本集合進(jìn)行文本去重，確定第二海量文本集合的操作，包括：

對(duì)所述第一海量文本集合中的文本進(jìn)行分詞，確定多個(gè)分詞以及與所述多個(gè)分詞對(duì)應(yīng)的多個(gè)特征向量；

對(duì)所述多個(gè)特征向量進(jìn)行哈希計(jì)算，確定所述多個(gè)特征向量對(duì)應(yīng)的多個(gè)哈希值；

根據(jù)所述多個(gè)哈希值對(duì)所述多個(gè)特征向量進(jìn)行加權(quán)，確定多個(gè)加權(quán)特征向量；

將所述多個(gè)加權(quán)特征向量進(jìn)行合并，確定序列向量；

對(duì)所述序列向量進(jìn)行降維，確定所述第二海量文本集合中文本的最小哈希值；

利用海明距離計(jì)算方法，根據(jù)所述第二海量文本集合中文本的最小哈希值，確定所述第二海量文本集合中文本的第一相似度；以及

根據(jù)所述第一相似度，對(duì)所述第一海量文本集合中文本進(jìn)行去重，確定所述第二海量文本集合。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用所述局部哈希敏感算法，根據(jù)所述第二海量文本集合中的文本標(biāo)題對(duì)所述第二海量文本集合進(jìn)行去重，確定第三海量文本集合的操作，包括：

構(gòu)建所述第二海量文本集合中的文本標(biāo)題的第一特征矩陣；

根據(jù)所述第一特征矩陣，利用Jaccard系數(shù)方法計(jì)算所述第一特征矩陣的列之間的第二相似度；以及

根據(jù)所述第二相似度，對(duì)所述第二海量文本集合中文本進(jìn)行去重，確定所述第三海量文本集合。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)所述第二相似度，對(duì)所述第二海量文本集合中文本進(jìn)行去重，確定所述第三海量文本集合的操作，包括：

當(dāng)所述第二海量文本集合中的文本之間的所述第二相似度大于預(yù)先設(shè)置的第一相似度閾值的情況下，對(duì)所述第二海量文本中的文本進(jìn)行去重，確定第三海量文本集合。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用所述局部哈希敏感算法，根據(jù)所述第三海量文本集合中的文本內(nèi)容對(duì)所述第三海量文本集合進(jìn)行去重，確定第四海量文本集合的操作，包括：

構(gòu)建所述第三海量文本集合中的文本內(nèi)容的第二特征矩陣；

根據(jù)所述第二特征矩陣，利用Containment系數(shù)方法計(jì)算所述第二特征矩陣的列之間的第三相似度；以及

根據(jù)所述第三相似度，對(duì)所述第三海量文本集合中文本進(jìn)行去重，確定所述第四海量文本集合。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，根據(jù)所述第三相似度，對(duì)所述第三海量文本集合中文本進(jìn)行去重，確定所述第四海量文本集合的操作，包括：

當(dāng)所述第三海量文本集合中的文本之間的所述第三相似度大于預(yù)先設(shè)置的第二相似度閾值的情況下，對(duì)所述第三海量文本中的文本進(jìn)行去重，確定第四海量文本集合。

8.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)由處理器執(zhí)行權(quán)利要求1至7中任意一項(xiàng)所述的方法。