[發明專利]數據標注方法、計算機程序產品、存儲介質及電子設備

在審

• 申請號: 202210551037.8
• 申請日: 2022-05-18
• 公開（公告）號: CN115100484A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 王塑;金宇;周昕宇;張朔;呂杰;厲蓮蓮;顏露;冀濤
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06K9/62;G06N3/08;G06N5/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 董艷芳

1.一種數據標注方法，其特征在于，包括：

獲取第一待標注數據及其推理結果；其中，所述第一待標注數據的推理結果為利用標注模型對所述第一待標注數據進行預測得到的信息；

獲取用戶標注的第二待標注數據的標注標簽；其中，所述第二待標注數據為所述第一待標注數據中的部分待標注數據；

根據所述第二待標注數據的標注標簽估計所述第一待標注數據中尚未標注的第三待標注數據的標注準確率是否已經達標；其中，所述第三待標注數據的標注準確率為根據所述第三待標注數據的推理結果所確定的推理標簽的準確率；

若所述第三待標注數據的標注準確率已經達標，則將所述第三待標注數據的推理標簽確定為所述第三待標注數據的標注標簽。

2.根據權利要求1所述的數據標注方法，其特征在于，所述根據所述第二待標注數據的標注標簽估計所述第一待標注數據中的第三待標注數據的標注準確率是否已經達標，包括：

根據所述第二待標注數據的標簽確定所述第一待標注數據中的第四待標注數據；其中，所述第四待標注數據中包含標注正確的第二待標注數據和/或尚未標注過的第三待標注數據，所述第二待標注數據標注正確是指：所述第二待標注數據的標注標簽和根據所述第二待標注數據的推理結果所確定的所述第二待標注數據的推理標簽相同；

若所述第四待標注數據中包含尚未標注的第三待標注數據，則根據所述第四待標注數據中標注正確的第二待標注數據的數量，估計所述第三待標注數據的標注準確率是否達標。

3.根據權利要求2所述的數據標注方法，其特征在于，從所述獲取用戶標注的第二待標注數據的標注標簽，直至所述將所述第三待標注數據的推理標簽確定為所述第三待標注數據的標注標簽的步驟，通過迭代的方式執行，每輪迭代包括以下步驟：

從所述第四待標注數據中抽樣出在本輪迭代中提供給用戶標注的所述第二待標注數據；其中，對于首輪迭代，所述第四待標注數據為所述第一待標注數據；

獲取用戶標注的所述第二待標注數據的標注標簽，并根據所述第二待標注數據的標注標簽對所述第四待標注數據進行篩選；

經過篩選后，若所述第四待標注數據中包含尚未標注的第三待標注數據，則根據所述第四待標注數據中標注正確的第二待標注數據的數量，估計所述第三待標注數據的標注準確率是否達標；

若所述第三待標注數據的標注準確率已經達標，則將所述第三待標注數據的推理標簽確定為所述第三待標注數據的標注標簽。

4.根據權利要求3所述的數據標注方法，其特征在于，所述標注模型為分類模型，所述第一待標注數據的推理結果包括所述第一待標注數據分屬每個類別的概率；

在執行首輪迭代之前，所述方法還包括：根據所述第一待標注數據的推理結果創建與每個類別對應的標注候選池；其中，每個標注候選池中包含所述第一待標注數據及其推理結果中的、所述第一待標注數屬于該標注候選池對應的類別的概率；

每輪迭代包括以下步驟：

從所有標注候選池中的所述第四待標注數據中抽樣出在本輪迭代中提供給用戶標注的所述第二待標注數據；其中，對于首輪迭代，每個標注候選池中的所述第四待標注數據為該標注候選池中的所述第一待標注數據；

獲取用戶標注的所述第二待標注數據的標注類別；其中，所述第二待標注數據的標注類別為所述第二待標注數據的標注標簽；

對于每個標注候選池，執行以下步驟：

針對每條第二待標注數據，若該條第二待標注數據的標注類別和該標注候選池對應的類別不同，且該條第二待標注數據包含在該標注候選池中的所述第四待標注數據中，則將該標注候選池中的所述第四待標注數據縮減為僅包含滿足以下條件的待標注數據：其推理結果中屬于該標注候選池對應的類別的概率大于該條第二待標注數據的推理結果中屬于該標注候選池對應的類別的概率；

在該標注候選池中的所述第四待標注數據經過縮減后，所述第四待標注數據中包含尚未標注的第三待標注數據，則根據所述第四待標注數據中標注正確的第二待標注數據的數量，估計所述第三待標注數據的標注準確率是否達標；

若所述第三待標注數據的標注準確率已經達標，則將該標注候選池對應的類別確定為所述第三待標注數據的標注類別；其中，該標注候選池對應的類別為所述第三待標注數據的推理標簽，所述第三待標注數據的標注類別為所述第三待標注數據的標注標簽。