[發明專利]用于將機器學習和大眾外包數據標注進行集成的系統和方法

在審

• 申請號: 202010475759.0
• 申請日: 2020-05-29
• 公開（公告）號: CN112016585A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 于麗秀;林婉怡;J.E.金
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00;G06K9/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張健;申屠偉進

1.一種數據標注系統，包括：

計算系統，其被編程為：

執行機器學習算法，所述機器學習算法被編程為：根據輸入數據集將一特征標識為預定特征和對應的置信度水平，以及

響應于標識了具有超過閾值的對應置信度水平、接著在所述對應置信度水平中減小至小于低置信度閾值的特征，而執行大眾工作者接口，所述大眾工作者接口被編程為生成交互式任務，并且從大眾工作者接收反饋以標識所述減小的原因，所述交互式任務被配置成顯示輸入數據集和由所述機器學習算法標識的特征。

2.根據權利要求1所述的數據標注系統，其中所述大眾工作者接口進一步被編程為：使文本對話框被顯示在顯示屏上，其中文本對話框包括用于指導大眾工作者完成所述交互式任務的指令。

3.根據權利要求1所述的數據標注系統，其中所述大眾工作者接口進一步被編程為：從大眾工作者接收反饋，作為與在顯示屏上繪制的元素相對應的數據。

4.根據權利要求1所述的數據標注系統，其中所述大眾工作者接口進一步被編程為：從大眾工作者接收反饋，作為在顯示屏上錄入的屏上對象的文本標注。

5.根據權利要求1所述的數據標注系統，其中所述大眾工作者接口進一步被編程為：響應于與所述減小相對應的輸入數據集被顯示在顯示屏上而使對話框元素被顯示在顯示屏上，所述對話框元素向大眾工作者警告所述減小。

6.根據權利要求1所述的數據標注系統，其中所述大眾工作者接口進一步被編程為：使對話框元素被顯示在顯示屏上，所述對話框元素指示大眾工作者標識針對其預期發生置信度水平中的類似減小的特征。

7.根據權利要求1所述的數據標注系統，其中所述大眾工作者接口進一步被編程為：在機器學習算法表示與適合于人類理解的視覺表示之間進行轉換。

8.根據權利要求1所述的數據標注系統，其中輸入數據集是包括多個圖像幀的視頻片段。

9.根據權利要求8所述的數據標注系統，其中所述計算系統進一步被編程為：響應于輸入數據集被隨機選擇以用于監測而執行所述大眾工作者接口。

10.一種方法，包括：

由機器學習算法根據輸入數據集將一特征標識為預定特征和對應的置信度水平；以及

響應于標識了具有超過閾值的置信度水平、接著在所述置信度水平中減小至小于低置信度閾值的特征，而生成用于大眾外包的交互式任務，以在顯示屏上顯示輸入數據集和由所述機器學習算法標識的特征，并且從大眾工作者接收反饋以標識所述減小的原因。

11.根據權利要求10所述的方法，進一步包括：使文本對話框被顯示在顯示屏上，所述文本對話框包括用于指導大眾工作者完成所述交互式任務的指令。

12.根據權利要求10所述的方法，進一步包括：響應于與所述減小相對應的輸入數據集被顯示在顯示屏上而使對話框元素被顯示在顯示屏上，所述對話框元素向大眾工作者警告所述減小。

13.根據權利要求10所述的方法，進一步包括：使對話框元素被顯示在顯示屏上，所述對話框元素指示大眾工作者標識針對其預期發生置信度水平中的類似減小的特征。

14.根據權利要求10所述的方法，進一步包括：利用從大眾工作者接收到的反饋來更新用于所述機器學習算法的數據集。

15.根據權利要求10所述的方法，進一步包括：響應于輸入數據集被隨機選擇以用于監測而生成用于大眾外包的交互式任務，以在顯示屏上顯示輸入數據集和由所述機器學習算法標識的特征，并且從大眾工作者接收反饋以標識不準確的特征標識。