[發明專利]標注數據的合格性判斷方法、裝置和電子設備

在審

• 申請號: 202010868165.6
• 申請日: 2020-08-25
• 公開（公告）號: CN111966674A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 李果
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/21
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 徐麗

本發明提供了一種標注數據的合格性判斷方法、裝置和電子設備，該方法包括：獲取目標對象的標注數據；確定目標對象的標注數據是否滿足指定條件；該指定條件包括與對照對象的標注數據相關的條件；如果目標對象的標注數據滿足指定條件，確定目標對象的標注數據合格。該方式基于對照對象的標注數據，確定目標對象的標識數據是否滿足指定條件，進而確定目標對象的標注數據是否合格，該方式無需人工判斷標注數據的合格性，提高了標注數據判斷的精度，并節省了大量的人力成本。

技術領域

本發明涉及數據處理技術領域，尤其是涉及一種標注數據的合格性判斷方法、裝置和電子設備。

背景技術

圖像或者視頻的質量評價的標注是由標注員根據自己的直觀感受進行標注的，對于同一張圖像，不同的標注員給出的質量評價的標注可能是不同的，從而使得質量評價的標注具有很強的主觀性和不確定性，因此，為了確保質量評價標注的準確性，需要判斷標注員的標注是否合格。

相關技術中，通常是從標注員的標注數據中抽取部分數據，再人工對抽取的部分數據的準確性進行判斷，以確定標注員的標注是否合格，但是該人工判斷的方式判斷精度較低，且需要大量的人力成本。

發明內容

本發明的目的在于提供一種標注數據的合格性判斷方法、裝置和電子設備，以提高標注合格性的判斷精度，并降低判斷成本。

第一方面，本發明實施例提供一種標注數據的合格性判斷方法，該方法包括：獲取目標對象的標注數據；確定目標對象的標注數據是否滿足指定條件；其中，該指定條件中包括與對照對象的標注數據相關的條件；該對照對象的標注數據和目標對象的標注數據為：針對同一個數據集進行標注的標注數據；如果目標對象的標注數據滿足指定條件，確定目標對象的標注數據合格。

在可選的實施方式中，上述指定條件包括：目標對象的標注數據與標注均值的第一相關系數大于或等于第一預設閾值；其中，該標注均值為目標對象的標注數據與對照對象的標注數據的均值；和/或，目標對象的標注數據與對照對象的標注數據的第二相關系數大于或等于第二預設閾值。

在可選的實施方式中，上述數據集中包括多個待處理數據；該標注數據為：對多個待處理數據中每個待處理數據的標注結果；第一相關系數通過下述方式確定：針對每個待處理數據，計算目標對象對當前待處理數據的標注結果與對照對象對當前待處理數據的標注結果的均值；其中，標注均值包括每個待處理數據對應的均值；對標注均值中的每個待處理數據對應的均值進行排列，得到第一序列；按照第一序列中待處理數據的順序，將目標對象的標注數據排列為第二序列；計算第一序列和第二序列之間的SROCC相關系數，將該SROCC相關系數確定為第一相關系數。

在可選的實施方式中，上述第二相關系數通過下述方式確定：計算目標對象的標注數據與對照對象的標注數據之間的曼哈頓距離；將該曼哈頓距離確定為第二相關系數。

在可選的實施方式中，上述對照對象為多個；上述計算目標對象的標注數據與對照對象的標注數據之間的曼哈頓距離的步驟，包括：計算目標對象的標注數據與每個對照對象之間的曼哈頓距離，得到多個曼哈頓距離；上述指定條件包括：多個曼哈頓距離中的每個曼哈頓距離，均大于或等于第二預設閾值。

在可選的實施方式中，上述指定條件還包括：目標對象的常用選項比例小于或等于第三預設閾值；其中，該常用選項比例由目標對象的標注數據確定。

在可選的實施方式中，上述標注數據包括預設的多個標注選項中的一個選項；該常用選項比例通過下述方式確定：統計目標對象的標注數據中的選項，得到每個選項的使用次數；將使用次數的最大值與標注數據的總數量的商，確定為常用選項比例。

在可選的實施方式中，上述標注數據包括標注用時；上述指定條件還包括：目標對象的標注用時的平均值，大于或等于第四預設閾值；或者，目標對象的標注數據的標注用時小于第五預設閾值的指定數據中，指定數據的標注用時的平均值大于或者等于第六預設閾值。