[發(fā)明專利]一種數(shù)據(jù)質(zhì)檢方法、裝置、存儲介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110448549.7
• 申請日: 2021-04-25
• 公開（公告）號: CN113128231A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計）人: 鄒陽;唐萬祺;陳健;李思雯
• 申請（專利權(quán)）人: 深圳市慧擇時代科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06F16/36;G06F40/194;G06F40/205;G06F40/284;G06Q40/08
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 夏歡

1.一種數(shù)據(jù)質(zhì)檢方法，其特征在于，包括：

獲得待質(zhì)檢文本數(shù)據(jù)；

對所述待質(zhì)檢文本數(shù)據(jù)執(zhí)行如下方式一和方式二中的至少一種；

方式一：對所述待質(zhì)檢文本數(shù)據(jù)進行正則匹配，從而確定所述待質(zhì)檢文本數(shù)據(jù)是否包括違規(guī)詞；

方式二：通過預(yù)先建立的實體識別模型，對所述待質(zhì)檢文本數(shù)據(jù)進行識別，從而得到所述待質(zhì)檢文本數(shù)據(jù)中的實體和所述實體的屬性信息；在預(yù)先建立的知識圖譜中，查詢獲得所述實體在所述知識圖譜中的屬性信息；將所述實體在所述知識圖譜中的屬性信息與通過所述實體識別模型得到的所述屬性信息進行比對，從而確定所述待質(zhì)檢文本數(shù)據(jù)是否正確。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲得至少一條文本數(shù)據(jù)；

將所述至少一條文本數(shù)據(jù)進行分詞，得到多個獨立詞組；

對所述多個獨立詞組進行停用獨立詞組的過濾，從而得到多個有效獨立詞組，其中，所述停用獨立詞組至少包括預(yù)設(shè)的無效獨立詞組；

對所述多個有效獨立詞組進行兩兩組合，得到多個有效組合詞組；

將多個預(yù)設(shè)的違規(guī)基礎(chǔ)詞、所述多個有效獨立詞組和所述多個有效組合詞組分別輸入至預(yù)先訓(xùn)練好的bert模型中，從而分別得到各所述違規(guī)基礎(chǔ)詞的編碼矩陣、各所述有效獨立詞組的編碼矩陣和各所述有效組合詞組的編碼矩陣；

根據(jù)各所述違規(guī)基礎(chǔ)詞的編碼矩陣、各所述有效獨立詞組的編碼矩陣和各所述有效組合詞組的編碼矩陣，從所述有效獨立詞組和所述有效組合詞組得到多個違規(guī)擴展詞；

所述對所述待質(zhì)檢文本數(shù)據(jù)進行正則匹配，從而確定所述待質(zhì)檢文本數(shù)據(jù)是否包括違規(guī)詞，包括：

對所述待質(zhì)檢文本數(shù)據(jù)進行正則匹配，確定所述待質(zhì)檢文本數(shù)據(jù)中是否包括違規(guī)詞庫中的違規(guī)詞，其中，所述違規(guī)詞庫中的違規(guī)詞至少包括所述違規(guī)基礎(chǔ)詞和所述違規(guī)擴展詞。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)各所述違規(guī)基礎(chǔ)詞的編碼矩陣、各所述有效獨立詞組的編碼矩陣和各所述有效組合詞組的編碼矩陣，從所述有效獨立詞組和所述有效組合詞組中得到多個違規(guī)擴展詞，包括：

對任一個編碼矩陣，均執(zhí)行：計算獲得所述任一個編碼矩陣的每一列的各向量值的平均值，每一列對應(yīng)一個平均值；將所述每一列對應(yīng)的平均值按照所述任一個編碼矩陣中的每一列的位置進行排序，從而得到與所述任一個編碼矩陣匹配的編碼向量，所述編碼向量為1行N列的行向量，其中，所述N為大于1的整數(shù)，一個編碼向量對應(yīng)一個編碼矩陣；

分別計算各所述違規(guī)基礎(chǔ)詞對應(yīng)的各編碼向量與各所述有效獨立詞組對應(yīng)的各編碼向量的第一相似度，從而根據(jù)所述第一相似度從所述有效獨立詞組中得到至少一個所述違規(guī)擴展詞；

分別計算各所述違規(guī)基礎(chǔ)詞對應(yīng)的各編碼向量與各所述有效組合詞組對應(yīng)的各編碼向量的第二相似度，從而根據(jù)所述第二相似度從所述有效組合詞組中得到至少一個所述違規(guī)擴展詞。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第一相似度從所述有效獨立詞組中得到至少一個所述違規(guī)擴展詞，包括：

將所述第一相似度大于第一預(yù)設(shè)閾值或所述第一相似度排序大于預(yù)設(shè)序位的有效獨立詞組確定為所述違規(guī)擴展詞；

所述根據(jù)所述第二相似度從所述有效組合詞組中得到至少一個所述違規(guī)擴展詞，包括：

將所述第二相似度大于第二預(yù)設(shè)閾值或所述第二相似度排序大于預(yù)設(shè)序位的有效組合詞組確定為所述違規(guī)擴展詞。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述實體在所述知識圖譜中的屬性信息與通過所述實體識別模型得到的所述屬性信息進行比對，從而確定所述待質(zhì)檢文本數(shù)據(jù)是否正確，包括：

將所述實體在所述知識圖譜中的屬性信息與通過所述實體識別模型得到的所述屬性信息進行比對，若所述實體在所述知識圖譜中的屬性信息與通過所述實體識別模型得到的所述屬性信息一致，則所述待質(zhì)檢文本數(shù)據(jù)正確，否則，確定待質(zhì)檢文本數(shù)據(jù)不正確。