[發明專利]基于弱標注數據進行跟蹤的圖像標注方法及系統

有效

• 申請號: 201910925715.0
• 申請日: 2019-09-27
• 公開（公告）號: CN110782005B
• 公開（公告）日: 2023-02-17
• 發明（設計）人: 楊陽;王雨晨;劉云霞
• 申請（專利權）人: 山東大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本公開公開了基于弱標注數據進行跟蹤的圖像標注方法及系統，包括：獲取訓練用的待跟蹤的視頻，在訓練用的待跟蹤視頻的首幀圖像中，人工標注待跟蹤物體的位置；利用至少兩種跟蹤器對人工標注后的訓練用的待跟蹤視頻進行跟蹤，并將每一種跟蹤器跟蹤后得到的弱標注數據集進行整合，得到整合后的弱標注數據集；將整合后的弱標注數據集輸入到深度學習模型中，對深度學習模型進行訓練，得到訓練好的深度學習模型；基于訓練好的深度學習模型，對新的待跟蹤視頻進行跟蹤，獲得新的待跟蹤視頻的每一幀圖像的圖像標注結果；所述新的待跟蹤視頻的首幀圖像，在輸入到訓練好的深度學習模型之前，由人工標注待跟蹤物體的位置。

技術領域

本公開涉及人工智能技術領域，特別是涉及基于弱標注數據進行跟蹤的圖像標注方法及系統。

背景技術

本部分的陳述僅僅是提到了與本公開相關的背景技術，并不必然構成現有技術。

深度學習的成功應用依賴于大量的訓練數據，我們希望這些數據都是被精確標注過的。但實際應用中的許多數據都受到標簽噪聲的影響。數據標注比數據收集更昂貴、更消耗資源，這在一定程度上限制了深度學習的發展。

在實現本公開的過程中，發明人發現現有技術中存在以下技術問題：

在標注過程中，錯誤是不可避免的:人為的解釋錯誤、測量錯誤和主觀偏見都是產生標簽噪聲的原因。許多大規模的數據集都是從網站上搜羅來的，這是產生噪音標簽的另一個原因。此外，即使是高質量的數據集也會包含標簽噪聲，這通常是由于數據本身的模糊性造成的。

在標注的過程中，由于訓練集數量大，但是訓練集帶有標注的樣本少，這樣就出現了弱標注的現象，如果逐一對訓練集全部的每一幀圖像的目標物體均進行逐一人工標注，會提高人工標注的工作量，而且標注的過程繁瑣，容易出錯。

因此，如何對弱標注的數據進行快速標注，以及如何利用這些標注并不十分精確的數據或弱標注的數據進行圖像中物體的標注跟蹤成為一大難題。

發明內容

為了解決現有技術的不足，本公開提供了基于弱標注數據進行跟蹤的圖像標注方法及系統，在弱標注數據集或數據集含有噪聲的情況下，神經網絡由于具有一定的魯棒性，其依然可以達到比較好的效果。

第一方面，本公開提供了基于弱標注數據進行跟蹤的圖像標注方法；

基于弱標注數據進行跟蹤的圖像標注方法，包括：

獲取訓練用的待跟蹤的視頻，在訓練用的待跟蹤視頻的首幀圖像中，人工標注待跟蹤物體的位置；

利用至少兩種跟蹤器對人工標注后的訓練用的待跟蹤視頻進行跟蹤，并將每一種跟蹤器跟蹤后得到的弱標注數據集進行整合，得到整合后的弱標注數據集；

將整合后的弱標注數據集輸入到深度學習模型中，對深度學習模型進行訓練，得到訓練好的深度學習模型；

基于訓練好的深度學習模型，對新的待跟蹤視頻進行跟蹤，獲得新的待跟蹤視頻的每一幀圖像的圖像標注結果；所述新的待跟蹤視頻的首幀圖像，在輸入到訓練好的深度學習模型之前，由人工標注待跟蹤物體的位置。

第二方面，本公開還提供了基于弱標注數據進行跟蹤的圖像標注系統；

基于弱標注數據進行跟蹤的圖像標注系統，包括：

預處理模塊，其被配置為：獲取訓練用的待跟蹤的視頻，在訓練用的待跟蹤視頻的首幀圖像中，人工標注待跟蹤物體的位置；

跟蹤模塊，其被配置為：利用至少兩種跟蹤器對人工標注后的訓練用的待跟蹤視頻進行跟蹤，并將每一種跟蹤器跟蹤后得到的弱標注數據集進行整合，得到整合后的弱標注數據集；

訓練模塊，其被配置為：將整合后的弱標注數據集輸入到深度學習模型中，對深度學習模型進行訓練，得到訓練好的深度學習模型；