[發(fā)明專(zhuān)利]一種標(biāo)注數(shù)據(jù)質(zhì)檢方法、終端設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111196832.1
• 申請(qǐng)日: 2021-10-14
• 公開(kāi)（公告）號(hào): CN115982347A
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 江豪;肖龍?jiān)?/a>;鄒輝;李威
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廈門(mén)快商通科技股份有限公司
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06F16/33;G06F16/31;G06F40/30
• 代理公司: 廈門(mén)市精誠(chéng)新創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 35218
• 代理人: 劉建科

1.一種標(biāo)注數(shù)據(jù)質(zhì)檢方法，其特征在于，包括以下步驟：

S1：采集待檢測(cè)標(biāo)注數(shù)據(jù)存入標(biāo)注數(shù)據(jù)庫(kù)內(nèi)；

S2：基于局部敏感哈希算法和語(yǔ)義相似度計(jì)算算法，獲取標(biāo)注數(shù)據(jù)庫(kù)中每個(gè)數(shù)據(jù)的形式相似且語(yǔ)義相似的數(shù)據(jù)并組成相似數(shù)據(jù)對(duì)；

S3：提取每個(gè)相似數(shù)據(jù)對(duì)中各數(shù)據(jù)的分類(lèi)標(biāo)簽并判斷是否相同，將分類(lèi)標(biāo)簽不同時(shí)的對(duì)應(yīng)的相似數(shù)據(jù)對(duì)中的兩個(gè)數(shù)據(jù)作為錯(cuò)誤標(biāo)注數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的標(biāo)注數(shù)據(jù)質(zhì)檢方法，其特征在于：步驟S1中還包括將標(biāo)注數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗后再存入標(biāo)注數(shù)據(jù)庫(kù)內(nèi)。

3.根據(jù)權(quán)利要求1所述的標(biāo)注數(shù)據(jù)質(zhì)檢方法，其特征在于：步驟S2中具體過(guò)程包括：

S21：通過(guò)局部敏感哈希算法計(jì)算標(biāo)注數(shù)據(jù)庫(kù)中每個(gè)數(shù)據(jù)的哈希值，并存入哈希數(shù)據(jù)庫(kù)內(nèi)；

S22：遍歷標(biāo)注數(shù)據(jù)庫(kù)中所有數(shù)據(jù)，針對(duì)每個(gè)數(shù)據(jù)，從哈希數(shù)據(jù)庫(kù)中查詢(xún)與該數(shù)據(jù)的基于哈希值的相似度大于第一相似度閾值的數(shù)據(jù)作為該數(shù)據(jù)的形式相似數(shù)據(jù)，并基于語(yǔ)義相似度計(jì)算算法，從該數(shù)據(jù)的所有形式相似數(shù)據(jù)中查詢(xún)與該數(shù)據(jù)的語(yǔ)義相似度大于第二相似度閾值的數(shù)據(jù)作為該數(shù)據(jù)的語(yǔ)義相似數(shù)據(jù)，將該數(shù)據(jù)與其每個(gè)語(yǔ)義相似數(shù)據(jù)對(duì)應(yīng)組成一個(gè)相似數(shù)據(jù)對(duì)。

4.一種標(biāo)注數(shù)據(jù)質(zhì)檢終端設(shè)備，其特征在于：包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中并在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1～3中任一所述方法的步驟。

5.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～3中任一所述方法的步驟。