[發(fā)明專利]樣本標(biāo)注方法、系統(tǒng)、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111302098.2
• 申請日: 2021-11-04
• 公開（公告）號: CN114091582A
• 公開（公告）日: 2022-02-25
• 發(fā)明（設(shè)計(jì)）人: 喬宏利;王洪斌;蔣寧;吳海英;何朋;楊春勇
• 申請（專利權(quán)）人: 馬上消費(fèi)金融股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 深圳市威世博知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

本申請公開了樣本標(biāo)注方法、系統(tǒng)、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括：將待標(biāo)注樣本分配至第一標(biāo)注節(jié)點(diǎn)，第一標(biāo)注節(jié)點(diǎn)包括多個(gè)標(biāo)注接口，標(biāo)注接口用于接收對分配的樣本的標(biāo)注；響應(yīng)于多個(gè)標(biāo)注接口對待標(biāo)注樣本的標(biāo)注不同，將待標(biāo)注樣本分配至第二標(biāo)注節(jié)點(diǎn)，第二標(biāo)注節(jié)點(diǎn)包括至少一個(gè)標(biāo)注接口，標(biāo)注接口用于接收對分配的樣本的標(biāo)注；根據(jù)第一標(biāo)注節(jié)點(diǎn)和第二標(biāo)注節(jié)點(diǎn)對待標(biāo)注樣本的標(biāo)注，確定待標(biāo)注樣本的最終標(biāo)注結(jié)果。通過上述方式，能夠提高待標(biāo)注樣本的最終標(biāo)注結(jié)果的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請涉及樣本標(biāo)注技術(shù)領(lǐng)域，特別涉及樣本標(biāo)注方法、系統(tǒng)、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

人工智能技術(shù)在應(yīng)用過程中，往往既需要先進(jìn)的算法和足夠的算力資源，也需要大量的高質(zhì)量的標(biāo)注樣本。

相關(guān)的人工樣本標(biāo)注方法，往往由單個(gè)標(biāo)注人批量標(biāo)注。因數(shù)量巨大，很難一一檢查標(biāo)注結(jié)果是否正確。很多建模任務(wù)，其算法模型因使用的樣本標(biāo)注質(zhì)量問題而受損。

發(fā)明內(nèi)容

為了解決上述問題，本申請?zhí)峁颖緲?biāo)注方法、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠提高待標(biāo)注樣本的最終標(biāo)注結(jié)果的準(zhǔn)確性。

為解決上述技術(shù)問題，本申請采用的一個(gè)技術(shù)方案是：提供一種樣本標(biāo)注方法，該方法包括：將待標(biāo)注樣本分配至第一標(biāo)注節(jié)點(diǎn)，第一標(biāo)注節(jié)點(diǎn)包括多個(gè)標(biāo)注接口，標(biāo)注接口用于接收對分配的樣本的標(biāo)注；響應(yīng)于多個(gè)標(biāo)注接口對待標(biāo)注樣本的標(biāo)注不同，將待標(biāo)注樣本分配至第二標(biāo)注節(jié)點(diǎn)，第二標(biāo)注節(jié)點(diǎn)包括至少一個(gè)標(biāo)注接口，標(biāo)注接口用于接收對分配的樣本的標(biāo)注；根據(jù)第一標(biāo)注節(jié)點(diǎn)和第二標(biāo)注節(jié)點(diǎn)對待標(biāo)注樣本的標(biāo)注，確定待標(biāo)注樣本的最終標(biāo)注結(jié)果。

其中，該方法還包括：確定多個(gè)標(biāo)注節(jié)點(diǎn)的標(biāo)注等級，標(biāo)注節(jié)點(diǎn)的標(biāo)注等級由對應(yīng)標(biāo)注接口的標(biāo)注等級確定，標(biāo)注節(jié)點(diǎn)的標(biāo)注等級由標(biāo)注速度和標(biāo)注準(zhǔn)確率確定；根據(jù)每個(gè)標(biāo)注節(jié)點(diǎn)的標(biāo)注等級，將樣本集分配至多個(gè)標(biāo)注節(jié)點(diǎn)。

其中，根據(jù)每個(gè)標(biāo)注節(jié)點(diǎn)的標(biāo)注等級，將樣本集分配至多個(gè)標(biāo)注節(jié)點(diǎn)，包括：獲取每一標(biāo)注節(jié)點(diǎn)的標(biāo)注等級；按照每一標(biāo)注節(jié)點(diǎn)的標(biāo)注等級確定每一標(biāo)注節(jié)點(diǎn)分配的樣本數(shù)。

其中，按照每一標(biāo)注節(jié)點(diǎn)的標(biāo)注等級確定每一標(biāo)注節(jié)點(diǎn)分配的樣本數(shù)，包括：獲取目標(biāo)標(biāo)注節(jié)點(diǎn)中多個(gè)標(biāo)注接口的平均標(biāo)注速度，以及獲取所有標(biāo)注節(jié)點(diǎn)的總平均標(biāo)注速度；利用平均標(biāo)注速度除以總平均標(biāo)注速度，得到標(biāo)注速度占比；利用標(biāo)注速度占比與總樣本數(shù)相乘，得到目標(biāo)標(biāo)注節(jié)點(diǎn)分配的樣本數(shù)。

其中，同一標(biāo)注節(jié)點(diǎn)的多個(gè)標(biāo)注接口的標(biāo)注等級相同或相鄰，標(biāo)注節(jié)點(diǎn)的標(biāo)注等級由對應(yīng)的多個(gè)標(biāo)注接口中標(biāo)注等級最低者確定。

其中，該方法還包括：響應(yīng)于多個(gè)標(biāo)注接口對待標(biāo)注樣本的標(biāo)注相同，將相同的標(biāo)注作為待標(biāo)注樣本的最終標(biāo)注。

其中，根據(jù)第一標(biāo)注節(jié)點(diǎn)和第二標(biāo)注節(jié)點(diǎn)對待標(biāo)注樣本的標(biāo)注，確定待標(biāo)注樣本的最終標(biāo)注結(jié)果，包括：響應(yīng)于第二標(biāo)注節(jié)點(diǎn)對待標(biāo)注樣本的標(biāo)注，與第一標(biāo)注節(jié)點(diǎn)中任一標(biāo)注接口對待標(biāo)注樣本的標(biāo)注相同，根據(jù)第一標(biāo)注節(jié)點(diǎn)和第二標(biāo)注節(jié)點(diǎn)的標(biāo)注準(zhǔn)確率，確定相同的標(biāo)注的正確率；響應(yīng)于正確率大于設(shè)定閾值，確定相同的標(biāo)注為最終標(biāo)注結(jié)果。

其中，根據(jù)第一標(biāo)注節(jié)點(diǎn)和第二標(biāo)注節(jié)點(diǎn)的標(biāo)注準(zhǔn)確率，確定相同的標(biāo)注的正確率，包括：利用第二標(biāo)注節(jié)點(diǎn)中的標(biāo)注接口的標(biāo)注準(zhǔn)確率與第一標(biāo)注節(jié)點(diǎn)中相同標(biāo)注的標(biāo)注接口的標(biāo)注準(zhǔn)確率求和，得到第一標(biāo)注準(zhǔn)確率；利用第二標(biāo)注節(jié)點(diǎn)的標(biāo)注準(zhǔn)確率與第一標(biāo)注節(jié)點(diǎn)中所有標(biāo)注接口的標(biāo)注準(zhǔn)確率求和，得到第二標(biāo)注準(zhǔn)確率；利用第一標(biāo)注準(zhǔn)確率除以第二標(biāo)注準(zhǔn)確率，得到相同的標(biāo)注的正確率。

其中，該方法還包括：響應(yīng)于第二標(biāo)注節(jié)點(diǎn)對待標(biāo)注樣本的標(biāo)注，與第一標(biāo)注節(jié)點(diǎn)中所有標(biāo)注接口對待標(biāo)注樣本的標(biāo)注均不相同，剔除待標(biāo)注樣本。