[發(fā)明專利]文本數(shù)據(jù)的篩選方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210698401.3
• 申請日: 2022-06-20
• 公開（公告）號: CN115292444A
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計）人: 孫羽菲;李東聞;鐘震宇;王昊天;申峻宇;張玉志
• 申請（專利權(quán)）人: 南開大學(xué)
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/383;G06F40/216;G06F40/284
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 羅嵐

本申請?zhí)峁┝艘环N文本數(shù)據(jù)的篩選方法、裝置、電子設(shè)備及存儲介質(zhì)，主要技術(shù)方案包括：將待處理文本數(shù)據(jù)通過第一篩選策略進(jìn)行篩選，第一篩選策略用于根據(jù)首位標(biāo)點及末位標(biāo)點進(jìn)行數(shù)據(jù)篩選；將待處理文本數(shù)據(jù)通過第二篩選策略進(jìn)行篩選，第二篩選策略用于對待處理文本數(shù)據(jù)中的預(yù)設(shè)控制符進(jìn)行篩選；將待處理文本數(shù)據(jù)通過第三篩選策略進(jìn)行篩選，第三篩選策略用于根據(jù)待處理文本數(shù)據(jù)中出現(xiàn)預(yù)設(shè)敏感詞匯的占比進(jìn)行篩選；將待處理文本數(shù)據(jù)通過第四篩選策略進(jìn)行篩選，第四篩選策略用于根據(jù)待處理文本數(shù)據(jù)的文本總長度進(jìn)行篩選。與相關(guān)技術(shù)篩選結(jié)果存在誤差或?qū)е抡Ｎ谋緮?shù)據(jù)丟失相比，此方法可以將冗余文本、敏感文本或者過短文本去除，得到高質(zhì)量的文本。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種文本數(shù)據(jù)的篩選方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

文本數(shù)據(jù)來源多樣，質(zhì)量良莠不齊，包含但不限于冗余文本、敏感文本或者過短文本等無意義網(wǎng)絡(luò)文本。該些無意義網(wǎng)絡(luò)文本無法直接作為構(gòu)建語言模型的訓(xùn)練用數(shù)據(jù)。

目前，對無意義網(wǎng)絡(luò)文本進(jìn)行篩選時，大多數(shù)通過人工篩選的方式，人工篩選的方式能夠提高文本數(shù)據(jù)的質(zhì)量，但是人工篩選的效率較低。為了提高篩選文本數(shù)據(jù)的效率，可通過設(shè)置簡單的篩選規(guī)則，例如構(gòu)建單語言數(shù)據(jù)集篩選規(guī)則，該種篩選方式相較于人工篩選方式，雖然能夠提高篩選效率，但是可能會將不完整數(shù)據(jù)或敏感文本數(shù)據(jù)被保留，導(dǎo)致篩選結(jié)果存在誤差；或者，當(dāng)文本數(shù)據(jù)中出現(xiàn)敏感詞匯時，會將整篇文本數(shù)據(jù)進(jìn)行刪除，進(jìn)而導(dǎo)致正常文本數(shù)據(jù)的丟失。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)峁┝艘环N文本數(shù)據(jù)的篩選方法、裝置、電子設(shè)備及存儲介質(zhì)，以實現(xiàn)將冗余文本、敏感文本或者過短文本去除，得到高質(zhì)量的文本。

第一方面，本申請?zhí)峁┝艘环N文本數(shù)據(jù)的篩選方法，包括：

將待處理文本數(shù)據(jù)通過第一篩選策略進(jìn)行篩選，所述第一篩選策略用于根據(jù)首位標(biāo)點符號及末位標(biāo)點符號進(jìn)行數(shù)據(jù)篩選；

和/或；將所述待處理文本數(shù)據(jù)通過第二篩選策略進(jìn)行篩選，所述第二篩選策略用于對所述待處理文本數(shù)據(jù)中的控制符進(jìn)行篩選；

和/或；將所述待處理文本數(shù)據(jù)通過第三篩選策略進(jìn)行篩選，所述第三篩選策略用于根據(jù)所述待處理文本數(shù)據(jù)中出現(xiàn)預(yù)設(shè)敏感詞匯的占比進(jìn)行篩選；

和/或；將所述待處理文本數(shù)據(jù)通過第四篩選策略進(jìn)行篩選，所述第四篩選策略用于根據(jù)所述待處理文本數(shù)據(jù)的文本總長度進(jìn)行篩選。

可選的，所述將待處理文本數(shù)據(jù)通過第一篩選策略進(jìn)行篩選包括：

從待處理文本數(shù)據(jù)的第一個字符開始遍歷，確定所述首位標(biāo)點符號及所述末位標(biāo)點符號；

在所述第一個字符與所述首位標(biāo)點符號之間查找預(yù)設(shè)符；

基于所述第一篩選策略，將所述第一個字符與所述預(yù)設(shè)符之間的文本數(shù)據(jù)刪除；

將所述末位標(biāo)點符號后的文本數(shù)據(jù)刪除。

可選的，所述第一篩選策略還用于根據(jù)段落中是否存在標(biāo)點符號進(jìn)行數(shù)據(jù)篩選，包括：

基于所述第一篩選策略，查找所述待處理文本數(shù)據(jù)中不含標(biāo)點符號的段落；

將所述待處理文本數(shù)據(jù)中不含所述標(biāo)點符號的段落進(jìn)行刪除。

可選的，所述將所述待處理文本數(shù)據(jù)通過第二篩選策略進(jìn)行篩選包括：

從待處理文本數(shù)據(jù)的第一個字符逐字檢測，查找符合所述第二篩選策略的控制符；

將符合所述第二篩選策略的所述控制符刪除。

可選的，所述將所述待處理文本數(shù)據(jù)通過第三篩選策略進(jìn)行篩選包括：