[發(fā)明專利]基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法、裝置、介質(zhì)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011355040.X
• 申請(qǐng)日: 2020-11-26
• 公開（公告）號(hào): CN112347982A
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計(jì)）人: 陳佳鵬;李遠(yuǎn)錢
• 申請(qǐng)（專利權(quán)）人: 江蘇云從曦和人工智能有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 李鐵

1.一種基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法，其特征在于，包括：

利用待優(yōu)化的第一檢測(cè)模型對(duì)無標(biāo)注的視頻進(jìn)行逐幀檢測(cè)，生成第一檢測(cè)結(jié)果；

根據(jù)所述第一檢測(cè)結(jié)果，選取不具有連續(xù)性的相鄰兩幀圖片構(gòu)成難例圖片對(duì)；

利用第二檢測(cè)模型對(duì)所述難例圖片對(duì)中的第一幀圖片進(jìn)行檢測(cè)，得到第二檢測(cè)結(jié)果；

根據(jù)所述第二檢測(cè)結(jié)果判斷所述難例圖片對(duì)中存在的難例類型。

2.根據(jù)權(quán)利要求1所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法，其特征在于，所述難例類型包括難例正例、難例負(fù)例。

3.根據(jù)權(quán)利要求1所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法，其特征在于，所述不具有連續(xù)性的相鄰兩幀圖片的判斷方法，包括：

獲取相鄰兩幀圖片的第一交并比；

根據(jù)所述第一交并比判斷相鄰兩幀圖片是否具有連續(xù)性；

若所述第一交并比小于第一交并比閾值，則相鄰兩幀圖片不具有連續(xù)性，反之則具有連續(xù)性。

4.根據(jù)權(quán)利要求3所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法，其特征在于，所述難例圖片對(duì)包括具有第一檢測(cè)框的第一幀圖片和不具有第一檢測(cè)框的第二幀圖片。

5.根據(jù)權(quán)利要求4所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法，其特征在于，若第二檢測(cè)結(jié)果中包含第二檢測(cè)框，則所述第二幀圖片中存在難例正例，保留第二幀圖片；若第二檢測(cè)結(jié)果中不包含第二檢測(cè)框，則所述第一幀圖片中存在難例負(fù)例，保留第一幀圖片。

6.根據(jù)權(quán)利要求5所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法，其特征在于，若第二檢測(cè)結(jié)果中含第二檢測(cè)框，該方法還包括：

計(jì)算所述第一檢測(cè)框與所述第二檢測(cè)框的第二交并比；

根據(jù)所述第二交并比判斷所述難例圖片對(duì)中存在的難例類型。

7.根據(jù)權(quán)利要求6所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法，其特征在于，若所述第二交并比大于或等于第二交并比閾值，則所述第二幀圖片中存在難例正例，保留第二幀圖片；若所述第二交并比小于第二交并比閾值，則所述第一幀圖片中存在難例負(fù)例，保留第一幀圖片。

8.根據(jù)權(quán)利要求5或7所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法，其特征在于，利用保留的難例正例圖片與難例負(fù)例圖片組成的數(shù)據(jù)集對(duì)第一檢測(cè)模型進(jìn)行再訓(xùn)練，以優(yōu)化所述第一檢測(cè)模型。

9.根據(jù)權(quán)利要求8所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘方法，其特征在于，在對(duì)第一檢測(cè)模型進(jìn)行再訓(xùn)練時(shí)，對(duì)難例正例圖片中的第二檢測(cè)框區(qū)域或/和難例負(fù)例圖片中的第一檢測(cè)框區(qū)域或/和對(duì)難例負(fù)例圖片中的第一檢測(cè)框區(qū)域與第二檢測(cè)框區(qū)域的交集區(qū)域進(jìn)行加權(quán)處理。

10.一種基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘裝置，其特征在于，包括：

第一檢測(cè)模塊，用于利用待優(yōu)化的第一檢測(cè)模型對(duì)無標(biāo)注的視頻進(jìn)行逐幀檢測(cè)，生成第一檢測(cè)結(jié)果；

難例圖片對(duì)生成模塊，用于根據(jù)所述第一檢測(cè)結(jié)果，選取不具有連續(xù)性的相鄰兩幀圖片構(gòu)成難例圖片對(duì)；

第二檢測(cè)模塊，用于利用第二檢測(cè)模型對(duì)所述難例圖片對(duì)中的第一幀圖片進(jìn)行檢測(cè)，得到第二檢測(cè)結(jié)果；

難例判別模塊，用于根據(jù)所述第二檢測(cè)結(jié)果判斷所述難例圖片對(duì)中存在的難例類型。

11.根據(jù)權(quán)利要求10所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘裝置，其特征在于，所述難例類型包括難例正例、難例負(fù)例。

12.根據(jù)權(quán)利要求10所述的基于視頻的無監(jiān)督難例數(shù)據(jù)挖掘裝置，其特征在于，所述難例圖片對(duì)生成模塊包括：

第一交并比計(jì)算子模塊，用于在第二檢測(cè)結(jié)果中含第二檢測(cè)框時(shí)獲取相鄰兩幀圖片的第一交并比；

連續(xù)性判斷子模塊，用于根據(jù)所述第一交并比判斷相鄰兩幀圖片是否具有連續(xù)性；若所述第一交并比小于第一交并比閾值，則相鄰兩幀圖片不具有連續(xù)性，反之則具有連續(xù)性。