[發(fā)明專利]一種基于特征擴增的無監(jiān)督夜間圖像分類方法

有效

• 申請?zhí)枺?/td>: 202110459160.2
• 申請日: 2021-04-27
• 公開（公告）號: CN112990371B
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計）人: 章依依;鄭影;朱岳江;徐曉剛;曹衛(wèi)強;朱亞光
• 申請（專利權(quán)）人: 之江實驗室
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發(fā)明屬于計算機視覺識別技術(shù)領(lǐng)域，涉及一種基于特征擴增的無監(jiān)督夜間圖像分類方法。采用具有白天圖像分類標簽的公開數(shù)據(jù)集訓練分類網(wǎng)絡(luò)，經(jīng)分類網(wǎng)絡(luò)提取輸入圖像的特征向量，并計算各類別的特征均值與協(xié)方差矩陣；將無標簽的夜間圖像輸入分類網(wǎng)絡(luò)獲得該圖像的偽標簽，根據(jù)偽標簽計算夜間圖像各類別在特征空間的特征均值與協(xié)方差矩陣；對同類別的白天、夜間圖像獲取的協(xié)方差矩陣進行加權(quán)平均獲得最終協(xié)方差矩陣；根據(jù)各類別夜間圖像特征均值和加權(quán)平均后的協(xié)方差矩陣進行特征采樣；將采樣的特征值與原有特征值共同重新訓練分類網(wǎng)絡(luò)。本發(fā)明通過學習有標簽的白天圖像的特征分布，在特征層面對夜間數(shù)據(jù)進行擴增，從而實現(xiàn)對夜間圖像的無監(jiān)督分類。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺識別技術(shù)領(lǐng)域，尤其涉及一種基于特征擴增的無監(jiān)督夜間圖像分類方法。

背景技術(shù)

圖像分類是計算機視覺識別領(lǐng)域最經(jīng)典的一個任務，也是其他許多視覺問題的基礎(chǔ)，具有巨大的實用價值和應用前景。圖像分類本質(zhì)上是一個模式分類問題，它的目標是將不同的圖像劃分到不同的類別，實現(xiàn)最小的分類誤差。隨著卷積神經(jīng)網(wǎng)絡(luò)CNN的成功，深度學習已被證明是圖像分類問題一個有效的解決方案。

目前已有的涉及圖像分類的大型公開數(shù)據(jù)集主要包括ImageNet、COCO、PascalVOC等，然而這些數(shù)據(jù)集基本都是在白天環(huán)境下采集的圖像。研究表明，白天圖像與夜間圖像存在明顯的領(lǐng)域差距，用白天數(shù)據(jù)集訓練的神經(jīng)網(wǎng)絡(luò)在處理夜間數(shù)據(jù)時往往會出現(xiàn)性能驟降的問題。針對該問題，目前主要有以下兩種方法：

1、域適應。在遷移學習中，當源域和目標域的數(shù)據(jù)分布不同，但兩個任務相同時，這種特殊的遷移學習叫做域適應。域適應主要通過找到一個特征空間，使源域與目標域在該共享空間的分布相匹配。通過學習共享空間來匹配白天與夜間數(shù)據(jù)的分布，可以有效提升夜間數(shù)據(jù)的分類性能。目前的技術(shù)手段主要通過生成對抗網(wǎng)絡(luò)實現(xiàn)，但其存在訓練不穩(wěn)定、訓練時間長等問題。

2、數(shù)據(jù)擴增。由于沒有大型的夜間圖像分類數(shù)據(jù)集，在無監(jiān)督的情況下可以進行夜間數(shù)據(jù)擴增。如使用GAN將白天圖像生成對應的低光照圖像，即在圖像層面進行數(shù)據(jù)擴增。但該方法生成的夜間圖像并不符合真實數(shù)據(jù)分布，與真實夜間數(shù)據(jù)同樣存在領(lǐng)域差距。

因此，如何對夜間數(shù)據(jù)集進行有效擴增，使其訓練的模型所提取的特征更加擬合真實夜間數(shù)據(jù)分布，是無監(jiān)督夜間圖像分類亟待解決的問題。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的對夜間分類數(shù)據(jù)集缺乏的情況，本發(fā)明提出一種基于特征擴增的無監(jiān)督夜間圖像分類方法，首先通過訓練白天圖像分類器獲取白天各類別特征分布，基于特征向量各維度都是高斯分布的假設(shè)，利用白天特征分布的均值與協(xié)方差對夜間特征進行采樣，在特征層面實現(xiàn)夜間數(shù)據(jù)擴增，最終將原數(shù)據(jù)與采樣數(shù)據(jù)一同對模型進行重新訓練，從而提升夜間圖像分類性能，其具體技術(shù)方案如下：

一種基于特征擴增的無監(jiān)督夜間圖像分類方法，包括以下步驟：

步驟1：構(gòu)建數(shù)據(jù)集：下載開源夜間圖像分類數(shù)據(jù)集Exclusively Dark（ExDark），從中選取部分圖像構(gòu)建無監(jiān)督夜間圖像數(shù)據(jù)集A，剩余圖像作為夜間圖像分類性能驗證集B；從Pascal VOC公開數(shù)據(jù)集中隨機選取部分與ExDark數(shù)據(jù)集對應類別的圖像，作為白天圖像分類數(shù)據(jù)集T；

步驟2：訓練分類網(wǎng)絡(luò)進行圖像特征提取，獲得圖像各類別特征均值與協(xié)方差矩陣：采用白天圖像分類數(shù)據(jù)集T訓練分類網(wǎng)絡(luò)，經(jīng)分類網(wǎng)絡(luò)，提取輸入圖像的特征向量，計算各類別的特征均值與協(xié)方差矩陣；

步驟3：輸入夜間圖像數(shù)據(jù)集A至所述分類網(wǎng)絡(luò)，獲得輸入圖像的偽標簽；

步驟4：根據(jù)偽標簽統(tǒng)計夜間圖像各類別特征均值與協(xié)方差矩陣；

步驟5：對同類別的白天、夜間圖像獲取的協(xié)方差矩陣進行加權(quán)平均獲得融合協(xié)方差矩陣；

步驟6：根據(jù)夜間圖像各類別的特征均值和融合協(xié)方差矩陣進行特征采樣；