[發(fā)明專利]文本判別的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110479518.8
• 申請(qǐng)日: 2021-04-30
• 公開（公告）號(hào): CN113128220B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 洪煜中
• 申請(qǐng)（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289;G06F18/2415;G06N3/04;G06N3/084
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 唐會(huì)娜;杜欣

本申請(qǐng)涉及一種文本判別的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。應(yīng)用于數(shù)據(jù)處理技術(shù)領(lǐng)域，其中文本判別方法包括：獲取待識(shí)別文本，待識(shí)別文本中包括至少一個(gè)字符；確定待識(shí)別文本中目標(biāo)字符的敏感度，目標(biāo)字符為待識(shí)別文本中的任一字符；根據(jù)目標(biāo)字符的敏感度和至少一個(gè)與目標(biāo)字符相鄰的鄰域字符的敏感度，確定目標(biāo)字符的召回傾向度，召回傾向度指示目標(biāo)字符所在的待識(shí)別文本被召回的傾向程度；在目標(biāo)字符的召回傾向度大于預(yù)設(shè)值時(shí)，確定待識(shí)別文本需要召回。本申請(qǐng)用以解決相關(guān)技術(shù)中，對(duì)敏感內(nèi)容識(shí)別準(zhǔn)確率低、召回結(jié)果不理想的問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種文本判別的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著社交網(wǎng)絡(luò)、移動(dòng)互聯(lián)網(wǎng)的不斷普及，人們?cè)诨ヂ?lián)網(wǎng)上分享自己的生活所見、所聞及所想的現(xiàn)象越來越普遍。主要包括人們?cè)诨ヂ?lián)網(wǎng)上發(fā)布自己的視頻、評(píng)論等，而視頻的標(biāo)題以及評(píng)論的內(nèi)容中，往往會(huì)存在一些低俗、違法、暴力傾向、政治敏感等不合規(guī)的信息，因此需要將此類內(nèi)容進(jìn)行識(shí)別并召回，以凈化網(wǎng)絡(luò)。

現(xiàn)有技術(shù)中，往往采用簡(jiǎn)單的敏感詞匹配來確定文本中是否存在敏感詞，即，將文本中的詞匯與敏感詞匯進(jìn)行匹配，若匹配成功，則表示存在敏感詞。在文本中存在敏感詞時(shí)，便對(duì)文本進(jìn)行召回。但是這種方法由于敏感詞的歧義或者文本的分詞錯(cuò)誤將會(huì)導(dǎo)致精確性較低，但是，簡(jiǎn)單的敏感詞匹配法會(huì)將其認(rèn)為是同一概念，這種情況下，便會(huì)導(dǎo)致誤判，準(zhǔn)確性較低，使得召回結(jié)果不理想。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N文本判別的方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決相關(guān)技術(shù)中，對(duì)敏感內(nèi)容識(shí)別準(zhǔn)確率低、召回結(jié)果不理想的問題。

第一方面，本申請(qǐng)?zhí)峁┝艘环N文本判別方法，包括：

獲取待識(shí)別文本，所述待識(shí)別文本中包括至少一個(gè)字符；

確定所述待識(shí)別文本中目標(biāo)字符的敏感度，所述目標(biāo)字符為所述待識(shí)別文本中的任一字符；

根據(jù)所述目標(biāo)字符的敏感度和至少一個(gè)與所述目標(biāo)字符相鄰的鄰域字符的敏感度，確定所述目標(biāo)字符的召回傾向度，所述召回傾向度指示所述目標(biāo)字符所在的待識(shí)別文本被召回的傾向程度；

在所述目標(biāo)字符的所述召回傾向度大于預(yù)設(shè)值時(shí)，確定所述待識(shí)別文本需要召回。

可選的，所述確定所述待識(shí)別文本中目標(biāo)字符的敏感度，包括：

獲取預(yù)設(shè)的敏感詞集；

根據(jù)預(yù)設(shè)敏感詞集對(duì)所述待識(shí)別文本進(jìn)行全稱匹配，得到匹配結(jié)果；

根據(jù)所述匹配結(jié)果，對(duì)所述目標(biāo)字符進(jìn)行賦值，將賦值結(jié)果作為所述目標(biāo)字符的敏感度，其中，匹配成功的目標(biāo)字符的敏感度大于未匹配成功的目標(biāo)字符的敏感度。

可選的，所述根據(jù)所述目標(biāo)字符的敏感度和至少一個(gè)與所述目標(biāo)字符相鄰的相鄰字符的敏感度，確定所述目標(biāo)字符的召回傾向度，包括：

根據(jù)每個(gè)所述目標(biāo)字符的所述賦值結(jié)果，確定所述待識(shí)別文本的匹配序列；

對(duì)所述匹配序列進(jìn)行平滑處理，得到平滑序列；

根據(jù)所述平滑序列，確定所述目標(biāo)字符的召回傾向度。

可選的，還包括：

獲取訓(xùn)練樣本集，所述訓(xùn)練樣本集中包括至少一個(gè)訓(xùn)練文本、各所述訓(xùn)練文本中各訓(xùn)練字符的真實(shí)召回傾向度以及所述訓(xùn)練文本的真實(shí)判別結(jié)果，所述真實(shí)召回傾向度和所述真實(shí)判別結(jié)果是所述訓(xùn)練文本通過執(zhí)行所述判別過程得到；

根據(jù)所述訓(xùn)練樣本集對(duì)初始神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到判別神經(jīng)網(wǎng)絡(luò)；

基于所述判別神經(jīng)網(wǎng)絡(luò)確定所述待識(shí)別文本是否需要召回。

可選的，所述根據(jù)所述訓(xùn)練樣本集對(duì)初始神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到判別神經(jīng)網(wǎng)絡(luò)，包括：