[發明專利]用于將機器學習和大眾外包數據標注進行集成的系統和方法

在審

• 申請號: 202010475759.0
• 申請日: 2020-05-29
• 公開（公告）號: CN112016585A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 于麗秀;林婉怡;J.E.金
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00;G06K9/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張健;申屠偉進

一種用于機器學習系統的數據標注系統包括計算系統，該計算系統被配置成執行用于生成輸入數據的數據標注的機器學習算法。該計算系統進一步被配置成：執行用于將機器學習算法的結果和預測傳達給非專家工作者以供審查的接口。該接口使用可視化和自然語言與非專家工作者進行通信以引出反饋，從而改進機器學習算法的性能。

技術領域

本申請總體上涉及一種用于通過大眾外包（crowd-sourced）任務和機器學習算法來進行協作式數據標注（annotation）的系統。

背景技術

許多系統正在開始合并人工智能（AI）和機器學習概念以用于做出決策。機器學習系統需要大量的輸入數據，以便學習對各種輸入的正確響應。例如，輸入數據可以包括各種輸入組合以及應當被學習的對應結果。大量的原始源數據可能是可用的。然而，必須處理該原始源數據以向機器學習算法提供正確的輸入。相關特征和預測結果必須與輸入數據相關聯，以便正確地訓練機器學習算法。由此，期望一種用于標注輸入數據的有效方法。

發明內容

數據標注系統包括計算系統，該計算系統被編程為執行機器學習算法，該機器學習算法被編程為：根據輸入數據集將一特征標識為預定特征和對應的置信度水平。該計算系統進一步被編程為：響應于標識了具有超過閾值的置信度水平、接著在該置信度水平中減小至小于低置信度閾值的特征，而執行大眾工作者接口，該大眾工作者接口被編程為生成交互式任務，并且從大眾工作者接收反饋以標識該減小的原因，該交互式任務被配置成顯示輸入數據集和由機器學習算法標識的特征。

大眾工作者接口可以進一步被編程為：使文本對話框被顯示在顯示屏上，其中文本對話框包括用于指導大眾工作者完成交互式任務的指令。大眾工作者接口可以進一步被編程為：從大眾工作者接收反饋，作為與在顯示屏上繪制的元素相對應的數據。大眾工作者接口可以進一步被編程為：從大眾工作者接收反饋，作為在顯示屏上錄入的屏上（on-screen）對象的文本標注。大眾工作者接口可以進一步被編程為：響應于與該減小相對應的輸入數據集被顯示在顯示屏上而使對話框元素被顯示在顯示屏上，該對話框元素向大眾工作者警告該減小。大眾工作者接口可以進一步被編程為：使對話框元素被顯示在顯示屏上，該對話框元素指示大眾工作者標識針對其預期發生置信度水平中的類似減小的特征。大眾工作者接口可以進一步被編程為：在機器學習算法表示與適合于人類理解的視覺表示之間進行轉換。輸入數據集可以是包括多個圖像幀的視頻片段。該計算系統可以進一步被編程為：響應于輸入數據集被隨機選擇以用于監測而執行大眾工作者接口。

一種方法包括：由機器學習算法根據輸入數據集將一特征標識為預定特征和對應的置信度水平。該方法進一步包括：響應于標識了具有超過閾值的置信度水平、接著在該置信度水平中減小至小于低置信度閾值的特征，而生成用于大眾外包的交互式任務，以在顯示屏上顯示輸入數據集和由機器學習算法標識的特征，并且從大眾工作者接收反饋以標識該減小的原因。

該方法可以進一步包括：使文本對話框被顯示在顯示屏上，該文本對話框包括用于指導大眾工作者完成交互式任務的指令。該方法可以進一步包括：響應于與該減小相對應的輸入數據集被顯示在顯示屏上而使對話框元素被顯示在顯示屏上，該對話框元素向大眾工作者警告該減小。該方法可以進一步包括：使對話框元素被顯示在顯示屏上，該對話框元素指示大眾工作者標識針對其預期發生置信度水平中的類似減小的特征。該方法可以進一步包括：利用從大眾工作者接收到的反饋來更新用于機器學習算法的數據集。該方法可以進一步包括：響應于輸入數據集被隨機選擇以用于監測而生成用于大眾外包的交互式任務，以在顯示屏上顯示輸入數據集和由機器學習算法標識的特征，并且從大眾工作者接收反饋以標識不準確的特征標識。該方法可以進一步包括：使對話框被顯示，該對話框包括機器學習算法的操作細節，以幫助大眾工作者理解機器學習算法。