[發(fā)明專利]文本篩選方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011302193.8
• 申請日: 2020-11-19
• 公開（公告）號: CN112364625A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 董潤華
• 申請（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/216;G06F40/194;G06K9/62
• 代理公司: 深圳市沃德知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種文本篩選方法，應(yīng)用于電子設(shè)備，其特征在于，所述方法包括：

對待篩選的第一文本執(zhí)行分詞操作得到多個(gè)分詞，從所述多個(gè)分詞中提取預(yù)設(shè)詞性的關(guān)鍵詞，為各分詞及各關(guān)鍵詞分配相關(guān)聯(lián)的權(quán)重；

計(jì)算各分詞及各關(guān)鍵詞的第一哈希值，基于各分詞的第一哈希值及權(quán)重執(zhí)行加權(quán)操作得到各分詞的權(quán)重向量，基于各關(guān)鍵詞的第一哈希值及各權(quán)重執(zhí)行加權(quán)操作得到各關(guān)鍵詞的權(quán)重向量；

將各分詞的權(quán)重向量累加得到所述第一文本的第一權(quán)重向量，將各關(guān)鍵詞的權(quán)重向量累加得到所述第一文本的第二權(quán)重向量，對所述第一權(quán)重向量及所述第二權(quán)重向量執(zhí)行降維操作，分別得到所述第一文本的第一simhash值及第二simhash值；

計(jì)算所述第一simhash值與預(yù)設(shè)存儲空間的目標(biāo)文本的第三simhash值的第一距離值，當(dāng)所述第一距離值大于第一預(yù)設(shè)值時(shí)，計(jì)算所述第二simhash值與所述第三simhash值的第二距離值，當(dāng)所述第二距離值小于或等于第二預(yù)設(shè)值時(shí)，篩除所述第一文本。

2.如權(quán)利要求1所述的文本篩選方法，其特征在于，所述從所述多個(gè)分詞中提取預(yù)設(shè)詞性的關(guān)鍵詞包括：

計(jì)算各分詞在所述第一文本中的詞頻，基于所述詞頻計(jì)算出各分詞的IDF值及TF值，將各分詞的IDF值與各分詞對應(yīng)的TF值相乘得到各分詞的TF-ID值，判斷所述第一文本中是否存在大于預(yù)設(shè)數(shù)量的預(yù)設(shè)詞性的關(guān)鍵詞，若是，基于各分詞的TF-ID值選取預(yù)設(shè)數(shù)量的預(yù)設(shè)詞性的關(guān)鍵詞，其中，所述預(yù)設(shè)詞性的關(guān)鍵詞包括名詞關(guān)鍵詞和動(dòng)詞關(guān)鍵詞。

3.如權(quán)利要求2所述的文本篩選方法，其特征在于，所述判斷所述第一文本中是否存在大于預(yù)設(shè)數(shù)量的預(yù)設(shè)詞性的關(guān)鍵詞包括：

當(dāng)判斷所述第一文本中不存在大于預(yù)設(shè)數(shù)量的預(yù)設(shè)詞性的關(guān)鍵詞時(shí)，篩除所述第一文本，并從預(yù)設(shè)存儲空間隨機(jī)獲取一篇文本作為所述待篩選的第一文本重新執(zhí)行分詞操作。

4.如權(quán)利要求1所述的文本篩選方法，其特征在于，所述方法還包括：

當(dāng)所述第一距離值小于或等于所述第一預(yù)設(shè)值時(shí)，篩除所述第一文本。

5.如權(quán)利要求1或4所述的文本篩選方法，其特征在于，所述方法還包括：

當(dāng)所述第二距離值大于所述第二預(yù)設(shè)值時(shí)，將所述第一文本存儲至所述預(yù)設(shè)目標(biāo)文本所屬的文本集。

6.如權(quán)利要求1所述的文本篩選方法，其特征在于，所述當(dāng)所述第一距離值大于第一預(yù)設(shè)值時(shí)，所述方法還包括：

計(jì)算所述第一simhash值與所述目標(biāo)文本的第四simhash值的第三距離值，當(dāng)所述第三距離值小于或等于第三預(yù)設(shè)值時(shí)，篩除所述第一文本。

7.如權(quán)利要求1所述的文本篩選方法，其特征在于，所述對待篩選的第一文本執(zhí)行分詞操作得到多個(gè)分詞包括：

根據(jù)正向最大匹配法將讀取到的文本與所述詞庫進(jìn)行匹配，得到第一匹配結(jié)果，所述第一匹配結(jié)果中包含有第一數(shù)量的第一詞組和第二數(shù)量的單字；

根據(jù)逆向最大匹配法將讀取到的文本與所述詞庫進(jìn)行匹配，得到第二匹配結(jié)果，所述第二匹配結(jié)果中包含有第三數(shù)量的第二詞組和第四數(shù)量的單字；

若所述第一數(shù)量與所述第三數(shù)量相等且所述第二數(shù)量小于或者等于所述第四數(shù)量，或者，若所述第一數(shù)量小于所述第三數(shù)量，則將所述第一匹配結(jié)果作為該對象全稱的分詞結(jié)果；若所述第一數(shù)量與所述第二數(shù)量相等且所述第三數(shù)量大于所述第四數(shù)量，或者，若所述第一數(shù)量大于所述第三數(shù)量，則將所述第二匹配結(jié)果作為所述第一文本的分詞結(jié)果。