[發(fā)明專利]文本篩選方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011302193.8
• 申請日: 2020-11-19
• 公開（公告）號: CN112364625A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 董潤華
• 申請（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/216;G06F40/194;G06K9/62
• 代理公司: 深圳市沃德知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

本發(fā)明涉及大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)，提供了一種文本篩選方法、裝置、設(shè)備及存儲介質(zhì)。該方法對待篩選的第一文本執(zhí)行分詞操作得到多個分詞，并提取預(yù)設(shè)詞性的關(guān)鍵詞，為各分詞及各關(guān)鍵詞分配權(quán)重，計算出各分詞及各關(guān)鍵詞的哈希值，根據(jù)哈希值及權(quán)重得到分詞的權(quán)重向量和關(guān)鍵詞的權(quán)重向量，將權(quán)重向量累加得到該文本的第一權(quán)重向量及第二權(quán)重向量，對第一權(quán)重向量及第二權(quán)重向量執(zhí)行降維得到該文本的第一simhash值及第二simhash值，計算第一simhash值與目標(biāo)文本的第三simhash值的距離值，當(dāng)該距離值大于第一預(yù)設(shè)值時，計算第二simhash值與第三simhash值的距離值，當(dāng)該距離值小于或等于第二預(yù)設(shè)值時，篩除第一文本。本發(fā)明可以對摘要性或總結(jié)性的文本進(jìn)去重。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種文本篩選方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

爬蟲爬取文本時，需要對爬取到的相同的或者相似性極高文本進(jìn)行去重，文本去重操作大多是使用URL生成一種“指紋”，把“指紋”放到一個集合中進(jìn)行去重，在實際的應(yīng)用過程中，一篇文本可能被多個網(wǎng)站轉(zhuǎn)發(fā)，會出現(xiàn)一些“指紋”不同，文本內(nèi)容卻相同的情況，且去重操作過程中，當(dāng)爬取到某文本的摘要性文本，或某文本的總結(jié)性文本時，也難以對摘要性或總結(jié)性的文本進(jìn)去重。

發(fā)明內(nèi)容

鑒于以上內(nèi)容，本發(fā)明提供一種文本篩選方法、裝置、設(shè)備及存儲介質(zhì)，其目的在于解決現(xiàn)有技術(shù)難以對摘要性或總結(jié)性的文本進(jìn)去重的技術(shù)問題。

為實現(xiàn)上述目的，本發(fā)明提供一種文本篩選方法，該方法包括：

對待篩選的第一文本執(zhí)行分詞操作得到多個分詞，從所述多個分詞中提取預(yù)設(shè)詞性的關(guān)鍵詞，為各分詞及各關(guān)鍵詞分配相關(guān)聯(lián)的權(quán)重；

計算各分詞及各關(guān)鍵詞的第一哈希值，基于各分詞的第一哈希值及權(quán)重執(zhí)行加權(quán)操作得到各分詞的權(quán)重向量，基于各關(guān)鍵詞的第一哈希值及各權(quán)重執(zhí)行加權(quán)操作得到各關(guān)鍵詞的權(quán)重向量；

將各分詞的權(quán)重向量累加得到所述第一文本的第一權(quán)重向量，將各關(guān)鍵詞的權(quán)重向量累加得到所述第一文本的第二權(quán)重向量，對所述第一權(quán)重向量及所述第二權(quán)重向量執(zhí)行降維操作，分別得到所述第一文本的第一simhash值及第二simhash值；

計算所述第一simhash值與預(yù)設(shè)存儲空間的目標(biāo)文本的第三simhash值的第一距離值，當(dāng)所述第一距離值大于第一預(yù)設(shè)值時，計算所述第二simhash值與所述第三simhash值的第二距離值，當(dāng)所述第二距離值小于或等于第二預(yù)設(shè)值時，篩除所述第一文本。

優(yōu)選的，所述從所述多個分詞中提取預(yù)設(shè)詞性的關(guān)鍵詞包括：

計算各分詞在所述第一文本中的詞頻，基于所述詞頻計算出各分詞的IDF值及TF值，將各分詞的IDF值與各分詞對應(yīng)的TF值相乘得到各分詞的TF-ID值，判斷所述第一文本中是否存在大于預(yù)設(shè)數(shù)量的預(yù)設(shè)詞性的關(guān)鍵詞，若是，基于各分詞的TF-ID值選取預(yù)設(shè)數(shù)量的預(yù)設(shè)詞性的關(guān)鍵詞，其中，所述預(yù)設(shè)詞性的關(guān)鍵詞包括名詞關(guān)鍵詞和動詞關(guān)鍵詞。

優(yōu)選的，所述判斷所述第一文本中是否存在大于預(yù)設(shè)數(shù)量的預(yù)設(shè)詞性的關(guān)鍵詞包括：

當(dāng)判斷所述第一文本中不存在大于預(yù)設(shè)數(shù)量的預(yù)設(shè)詞性的關(guān)鍵詞時，篩除所述第一文本，并從預(yù)設(shè)存儲空間隨機獲取一篇文本作為所述待篩選的第一文本重新執(zhí)行分詞操作。

優(yōu)選的，所述方法還包括：

當(dāng)所述第一距離值小于或等于所述第一預(yù)設(shè)值時，篩除所述第一文本。

優(yōu)選的，所述方法還包括：

當(dāng)所述第二距離值大于所述第二預(yù)設(shè)值時，將所述第一文本存儲至所述預(yù)設(shè)目標(biāo)文本所屬的文本集。

優(yōu)選的，所述當(dāng)所述第一距離值大于第一預(yù)設(shè)值時，所述方法還包括：