[發(fā)明專利]一種基于特征擴(kuò)增的無監(jiān)督夜間圖像分類方法

有效

• 申請?zhí)枺?/td>: 202110459160.2
• 申請日: 2021-04-27
• 公開（公告）號: CN112990371B
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計）人: 章依依;鄭影;朱岳江;徐曉剛;曹衛(wèi)強(qiáng);朱亞光
• 申請（專利權(quán)）人: 之江實驗室
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務(wù)所(普通合伙) 33213
• 代理人: 孫孟輝

1.一種基于特征擴(kuò)增的無監(jiān)督夜間圖像分類方法，其特征在于，包括以下步驟：

步驟1：構(gòu)建數(shù)據(jù)集：下載開源夜間圖像分類數(shù)據(jù)集Exclusively Dark（ExDark），從中選取部分圖像構(gòu)建無監(jiān)督夜間圖像數(shù)據(jù)集A，剩余圖像作為夜間圖像分類性能驗證集B；從Pascal VOC公開數(shù)據(jù)集中隨機(jī)選取部分與ExDark數(shù)據(jù)集對應(yīng)類別的圖像，作為白天圖像分類數(shù)據(jù)集T；

步驟2：訓(xùn)練分類網(wǎng)絡(luò)進(jìn)行圖像特征提取，獲得圖像各類別特征均值與協(xié)方差矩陣：采用白天圖像分類數(shù)據(jù)集T訓(xùn)練分類網(wǎng)絡(luò)，經(jīng)分類網(wǎng)絡(luò)，提取輸入圖像的特征向量，計算圖像各類別的特征均值與協(xié)方差矩陣；

步驟3：輸入夜間圖像數(shù)據(jù)集A至所述分類網(wǎng)絡(luò)，獲得輸入圖像的偽標(biāo)簽；

步驟4：根據(jù)偽標(biāo)簽統(tǒng)計各類別夜間圖像特征均值與協(xié)方差矩陣；

步驟5：對同類別的白天、夜間圖像獲取的協(xié)方差矩陣進(jìn)行加權(quán)平均，獲得融合協(xié)方差矩陣；

步驟6：根據(jù)夜間圖像各類別的特征均值和融合協(xié)方差矩陣進(jìn)行特征采樣；

步驟7：將采樣生成的特征樣本與原有真實白天特征數(shù)據(jù)x以及帶有偽標(biāo)簽的夜間特征數(shù)據(jù)y共同重新訓(xùn)練分類網(wǎng)絡(luò)。

2.如權(quán)利要求1所述的一種基于特征擴(kuò)增的無監(jiān)督夜間圖像分類方法，其特征在于，所述步驟2具體包括：

步驟2.1：選擇ResNet50深度殘差網(wǎng)絡(luò)作為分類網(wǎng)絡(luò)，并在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練；

步驟2.2：采用白天圖像分類數(shù)據(jù)集T訓(xùn)練分類網(wǎng)絡(luò)，修改ResNet50分類網(wǎng)絡(luò)最后一層分類層的輸出個數(shù)為數(shù)據(jù)集T類別數(shù)，所述網(wǎng)絡(luò)最后一層的學(xué)習(xí)率設(shè)置為0.001，預(yù)訓(xùn)練過的網(wǎng)絡(luò)層設(shè)置為0.0001，使用SGD進(jìn)行模型優(yōu)化，batch size設(shè)置為32，一共訓(xùn)練50個epoch，采用交叉熵?fù)p失函數(shù)，計算公式如下：

N表示樣本總個數(shù)，表示第i個樣本的標(biāo)簽，表示第i個樣本的預(yù)測概率值；

步驟2.3：通過訓(xùn)練的ResNet50網(wǎng)絡(luò)提取白天圖像分類數(shù)據(jù)集T的特征向量，并使用t-SNE算法將其進(jìn)行二維空間的特征向量可視化分析；

步驟2.4：針對分類的類別，分別計算對應(yīng)的特征均值與協(xié)方差矩陣，類別i的特征均值表示為：

其中，表示屬于類別i的第j個輸入圖像特征點，表示屬于類別i的圖像總數(shù)，類別的白天圖像特征分布協(xié)方差矩陣表示為：

。

3.如權(quán)利要求2所述的一種基于特征擴(kuò)增的無監(jiān)督夜間圖像分類方法，其特征在于，所述步驟3具體包括：

步驟3.1：輸入夜間圖像數(shù)據(jù)集A到所述訓(xùn)練的分類網(wǎng)絡(luò)，計算每個輸入圖像對應(yīng)的特征點與步驟2.4計算的各類別特征均值，即特征中心的歐式距離，第個圖像對應(yīng)特征點與第i個類別特征中心的歐式距離表示為：

步驟3.2：對于每個輸入圖像，根據(jù)步驟3.1計算的距離找到與其最近的類別特征中心，若特征點與最近的類別特征中心距離小于超參數(shù)，則將的偽標(biāo)簽設(shè)定為所屬的類別；否則判定特征點為噪聲，將其丟棄，最終得到特征集：

。

4.如權(quán)利要求3所述的一種基于特征擴(kuò)增的無監(jiān)督夜間圖像分類方法，其特征在于，所述步驟4具體為：

根據(jù)獲得的特征集S，統(tǒng)計夜間圖像各個類別的特征均值與協(xié)方差矩陣，類別i的特征均值表示為：

其中，表示在特征集S中屬于類別i的第j個特征向量，表示屬于類別i的特征向量總數(shù)，類別的夜間圖像特征分布協(xié)方差矩陣表示為：

。

5.如權(quán)利要求4所述的一種基于特征擴(kuò)增的無監(jiān)督夜間圖像分類方法，其特征在于，所述步驟5具體為：

將獲取的白天圖像的協(xié)方差矩陣與夜間圖像的協(xié)方差矩陣進(jìn)行加權(quán)平均，獲得融合協(xié)方差矩陣表示為：

ρ為權(quán)重數(shù)值。

6.如權(quán)利要求5所述的一種基于特征擴(kuò)增的無監(jiān)督夜間圖像分類方法，其特征在于，所述步驟6具體為：

根據(jù)獲取的各類別夜間圖像特征均值和最終的加權(quán)協(xié)方差矩陣進(jìn)行特征采樣，從以下高斯分布中隨機(jī)生成屬于類別i的個樣本：

每個類別生成的樣本數(shù)統(tǒng)一由超參數(shù)設(shè)定。

7.如權(quán)利要求6所述的一種基于特征擴(kuò)增的無監(jiān)督夜間圖像分類方法，其特征在于，所述步驟7具體為：

將采樣生成的特征樣本Z、原有真實白天特征數(shù)據(jù)x以及帶有偽標(biāo)簽的夜間特征數(shù)據(jù)y共同重新訓(xùn)練分類網(wǎng)絡(luò)，損失函數(shù)表示為：

其中表示屬于訓(xùn)練樣本中的任一特征向量，表示其對應(yīng)的標(biāo)簽，表示分類模型參數(shù)。