[發明專利]一種標注管理的方法和系統

在審

• 申請號: 201810372152.2
• 申請日: 2018-04-24
• 公開（公告）號: CN110400029A
• 公開（公告）日: 2019-11-01
• 發明（設計）人: 袁征;王瑤;王霞;張睿;呂延猛;陳倩倩;馮玉敏;孫志梅;孫榮章;孫愛林;劉彥偉
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/10
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;李陽

本發明公開了一種標注管理的方法和系統，涉及計算機技術領域。該方法的一具體實施方式包括：獲取待標注數據，以創建待標注數據的標注任務；分配標注人員，以領取標注任務和對應的待標注數據；根據標注任務對待標注數據進行標注，以獲得標注結果數據，通過預設的容錯率對標注結果數據進行審核，將審核通過的標注結果數據上傳以及調整預設的容錯率。該實施方式克服了現有技術中沒有對標注數據進行統一的管理、分配以及存儲，導致標注的過程工作量大、人工成本高以及工作效率低的技術問題，進而達到減少工作量、降低人工成本以及提高工作效率的技術效果。

技術領域

本發明涉及計算機技術領域，尤其涉及一種標注管理的方法和系 統。

背景技術

機器算法學習作為人工智能技術鏈中最重要的一環，起著至關重 要的作用。現有的標注系統不僅能夠支持多場景標注，還能為機器算 法學習提供大量高質量的訓練數據。大大提高了機器算法學習的效率 和準確度。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

現有技術沒有一套完整的針對標注過程的管理體系，不能對標注 數據進行統一的管理、分配以及存儲，導致標注的過程工作量大、人 工成本高以及工作效率低的問題。

因此，提出一套完整的標注管理的方法和系統是亟待解決的技術 問題。

發明內容

有鑒于此，本發明實施例提供一種方法和系統，能夠解決現有技 術中沒有對標注數據進行統一的管理、分配以及存儲，導致標注的過 程工作量大、人工成本高以及工作效率低的問題。

為實現上述目的，根據本發明實施例的一個方面，提供了一種標 注管理的方法，包括獲取待標注數據，以創建待標注數據的標注任務； 分配標注人員，以領取標注任務和對應的待標注數據；根據標注任務 對待標注數據進行標注，以獲得標注結果數據，通過預設的容錯率對 標注結果數據進行審核，將審核通過的標注結果數據上傳以及調整預 設的容錯率。

可選地，分配標注人員，以領取標注任務和對應的待標注數據之 后，還包括：

在根據標注任務對待標注數據進行標注的過程中，在預設時間統 計標注進度；

根據標注進度，獲得審核通過數量占比和任務使用時間占比；

當審核通過數量占比小于任務使用時間占比時，補充分配標注人 員。

可選地，調整預設的容錯率，包括：

計算審核未通過的標注結果數據的占比；

當所述占比大于預設閾值，則調整預設的容錯率。

可選地，根據標注任務對待標注數據進行標注，以獲得標注結果 數據，通過預設的容錯率對標注結果數據進行審核，包括：

在待標注數據中選取預設數量的樣本數據，以創建樣本數據標注 任務；根據樣本數據標注任務，對樣本數據進行標注以獲取樣本數據 標注結果；

根據標注任務對待標注數據進行標注，在獲取的標注結果數據中 查找樣本數據對應的標注結果數據；

將樣本數據對應的標注結果數據與樣本數據標注結果進行比對， 以獲得比對結果；

根據比對結果和預設的容錯率，確定是否審核通過。

根據本發明實施例的另一個方面，提供了一種標注管理的系統包 括任務分配層，用于獲取待標注數據，以創建待標注數據的標注任務； 標注層，用于分配標注人員，以領取標注任務和對應的待標注數據， 然后根據標注任務對待標注數據進行標注，獲得標注結果數據；審核 層，用于通過預設的容錯率對標注結果數據進行審核，將審核通過的 標注結果數據上傳以及調整預設的容錯率。

可選地，所述標注層，還用于：