[發明專利]數據標注方法、裝置和系統及存儲介質

在審

• 申請號: 201810064918.0
• 申請日: 2018-01-23
• 公開（公告）號: CN108875769A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 謝津;周昕宇;張華翼
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰;戴亞南

1.一種數據標注方法，包括：

獲取第一數目的未標注數據及其預標注信息，所述預標注信息是利用標注模型對所述第一數目的未標注數據進行預標注得到的，所述預標注信息包括預標注結果；

在顯示界面上顯示所述第一數目的未標注數據及其預標注結果；

接收用戶對所述第一數目的未標注數據的第一反饋信息；以及

根據所述第一反饋信息確定所述第一數目的未標注數據的最終標注結果。

2.如權利要求1所述的方法，其中，所述顯示界面包括標注區域和菜單欄區域，所述第一數目的未標注數據顯示在所述標注區域內，所述菜單欄區域包括用于指示所述標注區域內數據的標注模式的模式控件，所述標注模式為高概率模式、高相似模式和邊界模式中的一項或多項，

所述獲取第一數目的未標注數據及其預標注信息包括：

確定用戶通過所述模式控件選擇的標注模式；

根據所述選擇的標注模式，利用所述標注模型對第二數目的未標注數據進行預標注，以獲得所述第二數目的未標注數據的預標注信息，所述第一數目的預標注數據為所述第二數目的未標注數據中的至少部分未標注數據。

3.如權利要求2所述的方法，其中，所述模式控件包括分別布置在不同位置的高概率控件、高相似控件和邊界控件中的一項或多項，所述高概率控件、所述高相似控件和所述邊界控件分別用于指示所述高概率模式、所述高相似模式和所述邊界模式。

4.如權利要求3所述的方法，其中，所述高相似控件、所述高概率控件和所述邊界控件中的一項或多項中的每一項包括正例控件和負例控件，所述正例控件用于控制對應標注模式下的屬于正例的未標注數據的顯示，所述負例控件用于控制對應標注模式下的屬于負例的未標注數據的顯示。

5.如權利要求2所述的方法，其中，所述模式控件為下拉列表控件，所述下拉列表控件提供與所述高概率模式、所述高相似模式和所述邊界模式中的一項或多項分別對應的下拉列表項。

6.如權利要求2所述的方法，其中，所述預標注信息還包括數據得分，所述獲取第一數目的未標注數據及其預標注信息還包括：

從所述第二數目的未標注數據中選擇數據得分大于第一得分閾值或者小于第二得分閾值的未標注數據作為所述第一數目的未標注數據，或者從所述第二數目的未標注數據中選擇數據得分最高的預設數目的未標注數據作為所述第一數目的未標注數據。

7.如權利要求1所述的方法，其中，所述預標注信息還包括數據得分，在所述顯示界面上，所述第一數目的未標注數據是按照所述第一數目的未標注數據的數據得分排列的。

8.如權利要求1所述的方法，其中，所述顯示界面包括菜單欄區域，所述菜單欄區域包括隨機控件；

所述方法還包括：

當接收到針對所述隨機控件的選擇信息時，從未標注數據集中隨機選擇第三數目的未標注數據；

在所述顯示界面上顯示所述第三數目的未標注數據；

接收用戶對所述第三數目的未標注數據的第二反饋信息；以及

根據所述第二反饋信息確定所述第三數目的未標注數據的最終標注結果。

9.如權利要求8所述的方法，其中，所述隨機控件包括正例控件和負例控件，所述正例控件用于控制隨機模式下的屬于正例的未標注數據的顯示，所述負例控件用于控制隨機模式下的屬于負例的未標注數據的顯示。

10.如權利要求1所述的方法，其中，所述顯示界面包括菜單欄區域，所述菜單欄區域包括導出控件、生成測試集控件和初始化模型控件中的一項或多項，其中，

所述導出控件用于控制將所述第一數目的未標注數據中的至少部分未標注數據和所述至少部分未標注數據的最終標注結果導出為預定格式的文件，

所述生成測試集控件用于控制從已標注數據集中選擇預定數目的已標注數據以獲得測試集，所述測試集用于測試所述標注模型的標注準確率，

所述初始化模型控件用于控制對所述標注模型的參數進行初始化。