[發(fā)明專利]標(biāo)注質(zhì)量檢測裝置和方法

在審

• 申請?zhí)枺?/td>: 201911389195.2
• 申請日: 2019-12-30
• 公開（公告）號: CN111159167A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 章子譽(yù);顏澤鑫
• 申請（專利權(quán)）人: 上海依圖網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 上海市匯業(yè)律師事務(wù)所 31325
• 代理人: 王函

本發(fā)明公開了一種標(biāo)注質(zhì)量檢測裝置，包括：標(biāo)注前后一致性檢測模塊，用于在標(biāo)注過程中檢測同一類別標(biāo)注任務(wù)在前后不同時(shí)間段上對相同的待標(biāo)注對象數(shù)據(jù)進(jìn)行標(biāo)注形成的標(biāo)注數(shù)據(jù)的一致性；標(biāo)注協(xié)同一致性檢測模塊，用于在標(biāo)注過程中檢測不同類別標(biāo)注任務(wù)對相同的待標(biāo)注對象數(shù)據(jù)進(jìn)行標(biāo)注形成的標(biāo)注數(shù)據(jù)的一致性；標(biāo)注準(zhǔn)確率檢測模塊，用于在標(biāo)注過程中，將待標(biāo)注對象數(shù)據(jù)的已標(biāo)注數(shù)據(jù)作為預(yù)留標(biāo)注數(shù)據(jù)，對待標(biāo)注對象數(shù)據(jù)進(jìn)行標(biāo)注并形成對應(yīng)的標(biāo)注數(shù)據(jù)，對該標(biāo)注數(shù)據(jù)和預(yù)留標(biāo)注數(shù)據(jù)進(jìn)行準(zhǔn)確性比較并形成第三標(biāo)注質(zhì)量；質(zhì)量綜合模塊，用于根據(jù)3個(gè)標(biāo)注質(zhì)量確定綜合標(biāo)注質(zhì)量。本發(fā)明還提供一種標(biāo)注質(zhì)量檢測方法。本發(fā)明能實(shí)現(xiàn)自動檢測標(biāo)注質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種標(biāo)注質(zhì)量檢測裝置。本發(fā)明還涉及一種標(biāo)注質(zhì)量檢測方法。

背景技術(shù)

在人工智能（Artificial Intelligence，AI）領(lǐng)域中，往往需要對數(shù)據(jù)進(jìn)行標(biāo)注才能實(shí)現(xiàn)對數(shù)據(jù)的識別，故對數(shù)據(jù)的標(biāo)注質(zhì)量好壞非常重要，標(biāo)注質(zhì)量較差時(shí)，有可能出現(xiàn)識別偏差或不能識別的情形。

現(xiàn)有技術(shù)中，對數(shù)據(jù)的標(biāo)注所涉及的數(shù)據(jù)量和工作量都巨大，目前對于大規(guī)模數(shù)據(jù)標(biāo)注，沒有好的標(biāo)注數(shù)據(jù)質(zhì)量檢測的工具，只能通過人力進(jìn)行質(zhì)量檢測。如全查或者抽查等，對于不同標(biāo)注任務(wù)，可能使用的方法也有所不同。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知道，采用人工進(jìn)行檢查時(shí)，不僅效率低下，而且檢查人員在工作量大時(shí)難免不會出錯(cuò)，所以，急需一種能實(shí)現(xiàn)自動標(biāo)注質(zhì)量檢測方法。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種標(biāo)注質(zhì)量檢測裝置，能實(shí)現(xiàn)自動檢測標(biāo)注質(zhì)量，能保證后續(xù)算法訓(xùn)練結(jié)果可靠。為此，本發(fā)明還提供一種標(biāo)注質(zhì)量檢測方法。

為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

第一方面，本發(fā)明提供一種標(biāo)注質(zhì)量檢測裝置包括：標(biāo)注前后一致性檢測模塊，標(biāo)注協(xié)同一致性檢測模塊，標(biāo)注準(zhǔn)確率檢測模塊，質(zhì)量綜合模塊。

所述標(biāo)注前后一致性檢測模塊用于在標(biāo)注過程中檢測同一類別標(biāo)注任務(wù)在前后不同時(shí)間段上對相同的待標(biāo)注對象數(shù)據(jù)進(jìn)行標(biāo)注形成的標(biāo)注數(shù)據(jù)的一致性并形成第一標(biāo)注質(zhì)量。標(biāo)注前后一致性越高，則第一標(biāo)注質(zhì)量越高；反之，標(biāo)注前后一致性越低，則第一標(biāo)注質(zhì)量越低。

所述標(biāo)注協(xié)同一致性檢測模塊用于在標(biāo)注過程中檢測不同類別標(biāo)注任務(wù)對相同的待標(biāo)注對象數(shù)據(jù)進(jìn)行標(biāo)注形成的標(biāo)注數(shù)據(jù)的一致性并形成第二標(biāo)注質(zhì)量。標(biāo)注協(xié)同一致性越高，則第二標(biāo)注質(zhì)量越高；反之，標(biāo)注協(xié)同一致性越低，則第二標(biāo)注質(zhì)量越低。

所述標(biāo)注準(zhǔn)確率檢測模塊用于實(shí)現(xiàn)：在標(biāo)注過程中，待標(biāo)注對象數(shù)據(jù)為已經(jīng)做過標(biāo)注且已標(biāo)注數(shù)據(jù)被驗(yàn)證為準(zhǔn)確的數(shù)據(jù)，將待標(biāo)注對象數(shù)據(jù)的已標(biāo)注數(shù)據(jù)作為預(yù)留標(biāo)注數(shù)據(jù)，對待標(biāo)注對象數(shù)據(jù)進(jìn)行標(biāo)注并形成對應(yīng)的標(biāo)注數(shù)據(jù)，對該標(biāo)注數(shù)據(jù)和預(yù)留標(biāo)注數(shù)據(jù)進(jìn)行準(zhǔn)確性比較并形成第三標(biāo)注質(zhì)量；

所述質(zhì)量綜合模塊用于根據(jù)所述第一標(biāo)注質(zhì)量、所述第二標(biāo)注質(zhì)量和所述第三標(biāo)注質(zhì)量確定綜合標(biāo)注質(zhì)量。

所述同一類別標(biāo)注任務(wù)由同一標(biāo)注員進(jìn)行標(biāo)注；所述不同類別標(biāo)注任務(wù)由不同標(biāo)注員進(jìn)行標(biāo)注。所述不同類別標(biāo)注任務(wù)包括類別分類任務(wù)、物體檢出任務(wù)、圖像分割任務(wù)等等類別。

進(jìn)一步的改進(jìn)是，所述標(biāo)注前后一致性檢測模塊還包括：在對應(yīng)的所述標(biāo)注員已完成的標(biāo)注的待標(biāo)注對象中抽取所需數(shù)量的用于比較的待標(biāo)注對象數(shù)據(jù)，將抽取的用于比較的待標(biāo)注對象數(shù)據(jù)在后續(xù)時(shí)間段中進(jìn)行注入以給相同的所述標(biāo)注員進(jìn)行標(biāo)注。

進(jìn)一步的改進(jìn)是，所述標(biāo)注前后一致性檢測模塊中，將抽取的用于比較的待標(biāo)注對象數(shù)據(jù)在后續(xù)時(shí)間段中進(jìn)行注入的次數(shù)為一次以上。