[發(fā)明專(zhuān)利]一種標(biāo)注數(shù)據(jù)質(zhì)檢方法、終端設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111196832.1
• 申請(qǐng)日: 2021-10-14
• 公開(kāi)（公告）號(hào): CN115982347A
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 江豪;肖龍?jiān)?/a>;鄒輝;李威
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廈門(mén)快商通科技股份有限公司
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06F16/33;G06F16/31;G06F40/30
• 代理公司: 廈門(mén)市精誠(chéng)新創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 35218
• 代理人: 劉建科

本發(fā)明涉及一種標(biāo)注數(shù)據(jù)質(zhì)檢方法、終端設(shè)備及存儲(chǔ)介質(zhì)，該方法中包括：S1：采集待檢測(cè)標(biāo)注數(shù)據(jù)存入標(biāo)注數(shù)據(jù)庫(kù)內(nèi)；S2：基于局部敏感哈希算法和語(yǔ)義相似度計(jì)算算法，獲取標(biāo)注數(shù)據(jù)庫(kù)中每個(gè)數(shù)據(jù)的形式相似且語(yǔ)義相似的數(shù)據(jù)并組成相似數(shù)據(jù)對(duì)；S3：提取每個(gè)相似數(shù)據(jù)對(duì)中各數(shù)據(jù)的分類(lèi)標(biāo)簽并判斷是否相同，將分類(lèi)標(biāo)簽不同時(shí)的對(duì)應(yīng)的相似數(shù)據(jù)對(duì)中的兩個(gè)數(shù)據(jù)作為錯(cuò)誤標(biāo)注數(shù)據(jù)。本發(fā)明可以應(yīng)用在實(shí)際商業(yè)環(huán)境中，操作簡(jiǎn)單，時(shí)間復(fù)雜度低，計(jì)算效率高，粒度更細(xì)，可以快速挑選出標(biāo)注數(shù)據(jù)內(nèi)的錯(cuò)誤數(shù)據(jù)，解決了人工質(zhì)檢帶來(lái)的額外開(kāi)銷(xiāo)，實(shí)現(xiàn)快速的自動(dòng)質(zhì)檢，降低質(zhì)檢所耗費(fèi)的大量人力。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種標(biāo)注數(shù)據(jù)質(zhì)檢方法、終端設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

如何高效獲取大量的優(yōu)質(zhì)標(biāo)注數(shù)據(jù)，一直以來(lái)是自然語(yǔ)言處理領(lǐng)域的一個(gè)非常重要的課題。人工智能依賴著大量的優(yōu)質(zhì)標(biāo)注數(shù)據(jù)，這些標(biāo)注數(shù)據(jù)的數(shù)量及其優(yōu)質(zhì)程度往往具有不亞于人工智能算法本身的影響。然而，在分類(lèi)任務(wù)中，由于語(yǔ)言的豐富多變，標(biāo)注規(guī)范往往難以全面覆蓋；而且標(biāo)注人員對(duì)規(guī)范的理解也具有眾多主觀性，經(jīng)常會(huì)出現(xiàn)十分相似的數(shù)據(jù)分成不同的類(lèi)別的情況，而這顯然是不合理的，這種帶有巨大噪聲的數(shù)據(jù)勢(shì)必會(huì)對(duì)算法的識(shí)別結(jié)果帶來(lái)不良影響。

現(xiàn)在的常見(jiàn)的分類(lèi)任務(wù)質(zhì)檢方法為：(1)由人工智能訓(xùn)練師在數(shù)據(jù)庫(kù)中隨機(jī)采樣一部分標(biāo)注數(shù)據(jù)進(jìn)行重標(biāo)，并且認(rèn)為其標(biāo)注結(jié)果為標(biāo)準(zhǔn)答案，對(duì)標(biāo)注數(shù)據(jù)的準(zhǔn)確率進(jìn)行分析；(2)利用無(wú)監(jiān)督的聚類(lèi)方式，利用泛化性更為強(qiáng)大的預(yù)訓(xùn)練語(yǔ)言模型，利用標(biāo)注數(shù)據(jù)對(duì)其進(jìn)行微調(diào)，將微調(diào)后的模型用于預(yù)測(cè)標(biāo)注數(shù)據(jù)。對(duì)預(yù)測(cè)得到的分類(lèi)結(jié)果與人工標(biāo)注的結(jié)果進(jìn)行比對(duì)，挑選出預(yù)測(cè)類(lèi)別不同的數(shù)據(jù)。這些方案有以下不足之處：(1)人工無(wú)法有效遍歷所有的數(shù)據(jù)，這需要耗費(fèi)大量的時(shí)間、人力與金錢(qián)，在信息日新月異的大數(shù)據(jù)時(shí)代，其低效率，低性價(jià)比的缺點(diǎn)，不利于業(yè)務(wù)的高效冷啟動(dòng)與隨時(shí)變化；(2)人工智能訓(xùn)練師與標(biāo)注人員一樣，往往帶有人為偏差，其對(duì)業(yè)務(wù)的理解程度以及對(duì)規(guī)范的理解程度，均有偏差；(3)采用預(yù)訓(xùn)練語(yǔ)言模型，一定程度上可以節(jié)省大量人力，緩解人為因素對(duì)數(shù)據(jù)集的影響。試圖用一個(gè)算法學(xué)習(xí)一個(gè)數(shù)據(jù)集，再用這個(gè)算法去預(yù)測(cè)同一個(gè)數(shù)據(jù)集的做法，就類(lèi)似于“考前看答案”了，很難保證該預(yù)測(cè)的準(zhǔn)確性。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本發(fā)明提出了一種標(biāo)注數(shù)據(jù)質(zhì)檢方法、終端設(shè)備及存儲(chǔ)介質(zhì)。

具體方案如下：

一種標(biāo)注數(shù)據(jù)質(zhì)檢方法，包括以下步驟：

S1：采集待檢測(cè)標(biāo)注數(shù)據(jù)存入標(biāo)注數(shù)據(jù)庫(kù)內(nèi)；

S2：基于局部敏感哈希算法和語(yǔ)義相似度計(jì)算算法，獲取標(biāo)注數(shù)據(jù)庫(kù)中每個(gè)數(shù)據(jù)的形式相似且語(yǔ)義相似的數(shù)據(jù)并組成相似數(shù)據(jù)對(duì)；

S3：提取每個(gè)相似數(shù)據(jù)對(duì)中各數(shù)據(jù)的分類(lèi)標(biāo)簽并判斷是否相同，將分類(lèi)標(biāo)簽不同時(shí)的對(duì)應(yīng)的相似數(shù)據(jù)對(duì)中的兩個(gè)數(shù)據(jù)作為錯(cuò)誤標(biāo)注數(shù)據(jù)。

進(jìn)一步的，步驟S1中還包括將標(biāo)注數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗后再存入標(biāo)注數(shù)據(jù)庫(kù)內(nèi)。

進(jìn)一步的，步驟S2中具體過(guò)程包括：

S21：通過(guò)局部敏感哈希算法計(jì)算標(biāo)注數(shù)據(jù)庫(kù)中每個(gè)數(shù)據(jù)的哈希值，并存入哈希數(shù)據(jù)庫(kù)內(nèi)；

S22：遍歷標(biāo)注數(shù)據(jù)庫(kù)中所有數(shù)據(jù)，針對(duì)每個(gè)數(shù)據(jù)，從哈希數(shù)據(jù)庫(kù)中查詢與該數(shù)據(jù)的基于哈希值的相似度大于第一相似度閾值的數(shù)據(jù)作為該數(shù)據(jù)的形式相似數(shù)據(jù)，并基于語(yǔ)義相似度計(jì)算算法，從該數(shù)據(jù)的所有形式相似數(shù)據(jù)中查詢與該數(shù)據(jù)的語(yǔ)義相似度大于第二相似度閾值的數(shù)據(jù)作為該數(shù)據(jù)的語(yǔ)義相似數(shù)據(jù)，將該數(shù)據(jù)與其每個(gè)語(yǔ)義相似數(shù)據(jù)對(duì)應(yīng)組成一個(gè)相似數(shù)據(jù)對(duì)。

一種標(biāo)注數(shù)據(jù)質(zhì)檢終端設(shè)備，包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)本發(fā)明實(shí)施例上述的方法的步驟。

一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明實(shí)施例上述的方法的步驟。