[發明專利]標注質量檢測裝置和方法

在審

• 申請號: 201911389195.2
• 申請日: 2019-12-30
• 公開（公告）號: CN111159167A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 章子譽;顏澤鑫
• 申請（專利權）人: 上海依圖網絡科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 上海市匯業律師事務所 31325
• 代理人: 王函

1.一種標注質量檢測裝置，其特征在于，包括：標注前后一致性檢測模塊，標注協同一致性檢測模塊，標注準確率檢測模塊，質量綜合模塊；

所述標注前后一致性檢測模塊用于在標注過程中檢測同一類別標注任務在前后不同時間段上對相同的待標注對象數據進行標注形成的標注數據的一致性并形成第一標注質量；

所述標注協同一致性檢測模塊用于在標注過程中檢測不同類別標注任務對相同的待標注對象數據進行標注形成的標注數據的一致性并形成第二標注質量；

所述標注準確率檢測模塊用于實現：在標注過程中，待標注對象數據為已經做過標注且已標注數據被驗證為準確的數據，將待標注對象數據的已標注數據作為預留標注數據，對待標注對象數據進行標注并形成對應的標注數據，對該標注數據和預留標注數據進行準確性比較并形成第三標注質量；

所述質量綜合模塊用于根據所述第一標注質量、所述第二標注質量和所述第三標注質量確定綜合標注質量。

2.如權利要求1所述的標注質量檢測裝置，其特征在于：所述同一類別標注任務由同一標注員進行標注；所述不同類別標注任務由不同標注員進行標注。

3.如權利要求2所述的標注質量檢測裝置，其特征在于：所述標注前后一致性檢測模塊還包括：在對應的所述標注員已完成的標注的待標注對象中抽取所需數量的用于比較的待標注對象數據，將抽取的用于比較的待標注對象數據在后續時間段中進行注入以給相同的所述標注員進行標注。

4.一種標注質量檢測方法，其特征在于，包括如下步驟：

步驟一、進行標注前后一致性檢測，包括：在標注過程中檢測同一類別標注任務在前后不同時間段上對相同的待標注對象數據進行標注形成的標注數據的一致性并形成第一標注質量；

步驟二、進行標注協同一致性檢測，包括：在標注過程中檢測不同類別標注任務對相同的待標注對象數據進行標注形成的標注數據的一致性并形成第二標注質量；

步驟三、進行標注準確率檢測，包括：在標注過程中，待標注對象數據為已經做過標注且已標注數據被驗證為準確的數據，將待標注對象數據的已標注數據作為預留標注數據，對待標注對象數據進行標注并形成對應的標注數據，對該標注數據和預留標注數據進行準確性比較并形成第三標注質量；

步驟四、確定綜合標注質量，包括：根據所述第一標注質量、所述第二標注質量和所述第三標注質量確定綜合標注質量。

5.如權利要求4所述的標注質量檢測方法，其特征在于：步驟一中所述同一類別標注任務由同一標注員進行標注；步驟二中所述不同類別標注任務由不同標注員進行標注。

6.如權利要求5所述的標注質量檢測方法，其特征在于：步驟一的所述標注前后一致性檢測還包括：在對應的所述標注員已完成的標注的待標注對象中抽取所需數量的用于比較的待標注對象數據，將抽取的用于比較的待標注對象數據在后續時間段中進行注入以給相同的所述標注員進行標注。

7.一種標注質量檢測裝置，其特征在于，包括：

至少一個處理器；

與所述至少一個處理器耦合的存儲器，所述存儲器存儲有可執行指令，其中，所述可執行指令在被所述至少一個處理器執行時使得實現根據權利要求4至6中任一項所述的方法。

8.一種芯片，其特征在于，包括：處理器，用于從存儲器中調用并運行計算機程序，使得安裝有所述芯片的設備執行：如權利要求4至6中任一項所述的方法。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求4至6中任一項所述的方法的步驟。

10.一種計算機程序產品，其特征在于，包括計算機程序指令，該計算機程序指令使得計算機執行如權利要求4至6中任一項所述的方法。