[發(fā)明專利]文本數(shù)據(jù)的篩選方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210698401.3
• 申請日: 2022-06-20
• 公開（公告）號: CN115292444A
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 孫羽菲;李東聞;鐘震宇;王昊天;申峻宇;張玉志
• 申請（專利權(quán)）人: 南開大學(xué)
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/383;G06F40/216;G06F40/284
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 羅嵐

1.一種文本數(shù)據(jù)的篩選方法，其特征在于，包括：

將待處理文本數(shù)據(jù)通過第一篩選策略進(jìn)行篩選，所述第一篩選策略用于根據(jù)首位標(biāo)點(diǎn)符號及末位標(biāo)點(diǎn)符號進(jìn)行數(shù)據(jù)篩選；

和/或；將所述待處理文本數(shù)據(jù)通過第二篩選策略進(jìn)行篩選，所述第二篩選策略用于對所述待處理文本數(shù)據(jù)中的控制符進(jìn)行篩選；

和/或；將所述待處理文本數(shù)據(jù)通過第三篩選策略進(jìn)行篩選，所述第三篩選策略用于根據(jù)所述待處理文本數(shù)據(jù)中出現(xiàn)預(yù)設(shè)敏感詞匯的占比進(jìn)行篩選；

和/或；將所述待處理文本數(shù)據(jù)通過第四篩選策略進(jìn)行篩選，所述第四篩選策略用于根據(jù)所述待處理文本數(shù)據(jù)的文本總長度進(jìn)行篩選。

2.根據(jù)權(quán)利要求1所述的篩選方法，其特征在于，所述將待處理文本數(shù)據(jù)通過第一篩選策略進(jìn)行篩選包括：

從待處理文本數(shù)據(jù)的第一個(gè)字符開始遍歷，確定所述首位標(biāo)點(diǎn)符號及所述末位標(biāo)點(diǎn)符號；

在所述第一個(gè)字符與所述首位標(biāo)點(diǎn)符號之間查找預(yù)設(shè)符；

基于所述第一篩選策略，將所述第一個(gè)字符與所述預(yù)設(shè)符之間的文本數(shù)據(jù)刪除；

將所述末位標(biāo)點(diǎn)符號后的文本數(shù)據(jù)刪除。

3.根據(jù)權(quán)利要求1所述的篩選方法，其特征在于，所述第一篩選策略還用于根據(jù)段落中是否存在標(biāo)點(diǎn)符號進(jìn)行數(shù)據(jù)篩選，包括：

基于所述第一篩選策略，查找所述待處理文本數(shù)據(jù)中不含標(biāo)點(diǎn)符號的段落；

將所述待處理文本數(shù)據(jù)中不含所述標(biāo)點(diǎn)符號的段落進(jìn)行刪除。

4.根據(jù)權(quán)利要求1所述的篩選方法，其特征在于，所述將所述待處理文本數(shù)據(jù)通過第二篩選策略進(jìn)行篩選包括：

從待處理文本數(shù)據(jù)的第一個(gè)字符逐字檢測，查找符合所述第二篩選策略的控制符；

將符合所述第二篩選策略的所述控制符刪除。

5.根據(jù)權(quán)利要求1所述的篩選方法，其特征在于，所述將所述待處理文本數(shù)據(jù)通過第三篩選策略進(jìn)行篩選包括：

基于所述第三篩選策略中的預(yù)設(shè)敏感詞匯表對所述待處理文本數(shù)據(jù)的整個(gè)篇章進(jìn)行預(yù)設(shè)敏感詞匯的查找；

根據(jù)查找結(jié)果確認(rèn)預(yù)設(shè)敏感詞匯的所屬類別；

根據(jù)所述預(yù)設(shè)敏感詞匯的所屬類別及出現(xiàn)次數(shù)，計(jì)算預(yù)設(shè)敏感詞匯在所述待處理文本數(shù)據(jù)中的占比；

若所述占比超過所述第三篩選策略中的預(yù)設(shè)占比，則將所述待處理文本數(shù)據(jù)全部刪除。

6.根據(jù)權(quán)利要求1所述的篩選方法，其特征在于，所述將所述待處理文本數(shù)據(jù)通過第四篩選策略進(jìn)行篩選包括：

確認(rèn)所述待處理文本數(shù)據(jù)的文本總長度；

若所述待處理文本數(shù)據(jù)的文本總長度小于所述第四篩選策略中預(yù)設(shè)的文本總長度，則將所述待處理文本數(shù)據(jù)刪除。

7.一種文本數(shù)據(jù)的篩選裝置，其特征在于，包括：

第一篩選單元，用于將待處理文本數(shù)據(jù)通過第一篩選策略進(jìn)行篩選，所述第一篩選策略用于根據(jù)首位標(biāo)點(diǎn)符號及末位標(biāo)點(diǎn)符號進(jìn)行數(shù)據(jù)篩選；

第二篩選單元，用于將所述待處理文本數(shù)據(jù)通過第二篩選策略進(jìn)行篩選，所述第二篩選策略用于對所述待處理文本數(shù)據(jù)中的控制符進(jìn)行篩選；

第三篩選單元，用于將所述待處理文本數(shù)據(jù)通過第三篩選策略進(jìn)行篩選，所述第三篩選策略用于根據(jù)所述待處理文本數(shù)據(jù)中出現(xiàn)預(yù)設(shè)敏感詞匯的占比進(jìn)行篩選；

第四篩選單元，用于將所述待處理文本數(shù)據(jù)通過第四篩選策略進(jìn)行篩選，所述第四篩選策略用于根據(jù)所述待處理文本數(shù)據(jù)的文本總長度進(jìn)行篩選。

8.一種電子設(shè)備，其特征在于，包括：

至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行權(quán)利要求1-6中任一項(xiàng)所述的方法。

9.一種存儲有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法。