[發明專利]基于視頻的無監督難例數據挖掘方法、裝置、介質及設備

在審

• 申請號: 202011355040.X
• 申請日: 2020-11-26
• 公開（公告）號: CN112347982A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 陳佳鵬;李遠錢
• 申請（專利權）人: 江蘇云從曦和人工智能有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 李鐵

本發明公開了一種基于視頻的無監督難例數據挖掘方法，包括：利用待優化的第一檢測模型對無標注的視頻進行逐幀檢測，生成第一檢測結果；根據所述第一檢測結果，選取不具有連續性的相鄰兩幀圖片構成難例圖片對；利用第二檢測模型對所述難例圖片對中的第一幀圖片進行檢測，得到第二檢測結果；根據所述第二檢測結果判斷所述難例圖片對中存在的難例類型。本發明有針對性地選擇到了有用圖片，避免了大量重復簡單圖片的產生。

技術領域

本發明涉及人工智能領域，具體涉及一種基于視頻的無監督難例數據挖掘方法、裝置、介質及設備。

背景技術

深度學習訓練時需要大量的數據，一種方法是在視頻中均勻截幀，之后送給人工進行標注。然而這種方法沒有針對性，會挖掘出很多無用的圖片(比如某些場景神經網絡效果已經非常好)。這些無用的圖片送去人工標注不僅造成極大的人力資源浪費，而且使某些極具價值的圖片淹沒在無用的圖片中，最終導致模型的性能沒有提升。另一種方法可以將待優化模型在原始視頻中跑檢測，人為觀察在哪兒些場景效果不好，之后將視頻中該區域選出，這種做法選擇圖片時有針對性，但人工成本過高。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種基于視頻的無監督難例數據挖掘方法、裝置、介質及設備，用于解決現有技術存在的問題。

為實現上述目的及其他相關目的，本發明提供一種基于視頻的無監督難例數據挖掘方法，包括：

利用待優化的第一檢測模型對無標注的視頻進行逐幀檢測，生成第一檢測結果；

根據所述第一檢測結果，選取不具有連續性的相鄰兩幀圖片構成難例圖片對；

利用第二檢測模型對所述難例圖片對中的第一幀圖片進行檢測，得到第二檢測結果；

根據所述第二檢測結果判斷所述難例圖片對中存在的難例類型。

可選地，所述難例類型包括難例正例、難例負例。

可選地，所述不具有連續性的相鄰兩幀圖片的判斷方法，包括：

獲取相鄰兩幀圖片的第一交并比；

根據所述第一交并比判斷相鄰兩幀圖片是否具有連續性；

若所述第一交并比小于第一交并比閾值，則相鄰兩幀圖片不具有連續性，反之則具有連續性。

可選地，所述難例圖片對包括具有第一檢測框的第一幀圖片和不具有第一檢測框的第二幀圖片。

可選地，若第二檢測結果中包含第二檢測框，則所述第二幀圖片中存在難例正例，保留第二幀圖片；若第二檢測結果中不包含第二檢測框，則所述第一幀圖片中存在難例負例，保留第一幀圖片。

可選地，若第二檢測結果中含第二檢測框，則該方法還包括：

計算所述第一檢測框與所述第二檢測框的第二交并比；

根據所述第二交并比判斷所述難例圖片對中存在的難例類型。

可選地，若所述第二交并比大于或等于第二交并比閾值，則所述第二幀圖片中存在難例正例，保留第二幀圖片；若所述第二交并比小于第二交并比閾值，則所述第一幀圖片中存在難例正例，保留第一幀圖片。

可選地，利用保留的難例正例圖片與難例負例圖片組成的數據集對第一檢測模型進行再訓練，以優化所述第一檢測模型。

可選地，在對第一檢測模型進行再訓練時，對難例正例圖片中的第二檢測框區域或/和難例負例圖片中的第一檢測框區域或/和難例負例圖片中的第一檢測框區域與第二檢測框區域的交集區域。

為實現上述目的及其他相關目的，本發明提供一種基于視頻的無監督難例數據挖掘裝置，包括：