[發(fā)明專利]一種基于RGB圖像和MSR圖像雙通道的目標檢測方法

有效

• 申請?zhí)枺?/td>: 202011306712.8
• 申請日: 2020-11-20
• 公開（公告）號: CN112508863B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計）人: 向友君;董慶州;童逸軒;李樂民;傅予力
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/50;G06V10/80;G06V10/82;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種基于RGB圖像和MSR圖像雙通道的目標檢測方法，其特征在于，包括以下步驟：

S1、通過在原始RGB圖像上應(yīng)用灰度化和MSR(Multi?Scale?Retinex)算法，得到具有顏色恒常性的MSR圖像，具體為：

S11、對原始圖像進行灰度化，得到灰度圖像S(x,y)；

S12、對步驟S11得到的灰度圖像應(yīng)用到三個不同尺度的SSR(Single?Scale?Retinex)算法上；

S13、對步驟S12得到的不同尺度的SSR圖像通過加權(quán)求和得到具有顏色恒常性的MSR圖像；

S2、對于步驟S1得到的原始RGB圖像和MSR圖像，分別采用特征金字塔網(wǎng)絡(luò)FPN(FeaturePyramid?Networks)模型對圖像進行深度特征的學(xué)習(xí)；

S3、通過注意力機制對原始RGB圖像和MSR圖像的特征進行特征融合，具體為：給定一組特征{f_k,k＝1,...,N}，f_i表示特征組，N示特征的數(shù)量，將學(xué)習(xí)與特征對應(yīng)的一組權(quán)重{ω_k,k＝1,...,N}以生成聚合特征v：

其中，ω_k表示學(xué)習(xí)等式的權(quán)重，要融合的是RGB圖像的深度特征f_RGB和MSR圖像的深度特征f_MSR，為了學(xué)習(xí)權(quán)重ω_k，首先要學(xué)習(xí)具有與f_k相同維數(shù)的內(nèi)核q，內(nèi)核q通過點積操作過濾特征向量，生成的向量d_k表示相應(yīng)特征的重要性：

d_k＝q^Tf_k

為了將重要性轉(zhuǎn)換為權(quán)重ω_k，將向量d_k傳遞給softmax運算，并獲得所有正權(quán)重ω_k：

其中，S表示特征向量的個數(shù)，s＝1～N；

S4、通過Focal?Loss和DIoU?Loss對特征金字塔網(wǎng)絡(luò)模型進行分類和回歸過程進行監(jiān)督；

S5、利用特征金字塔網(wǎng)絡(luò)模型對預(yù)測目標進行檢測。

2.根據(jù)權(quán)利要求1所述的一種基于RGB圖像和MSR圖像雙通道的目標檢測方法，其特征在于：步驟S11包括確定上中下三種高斯環(huán)繞尺度。

3.根據(jù)權(quán)利要求2所述的一種基于RGB圖像和MSR圖像雙通道的目標檢測方法，其特征在于：所述灰度圖像公式如下：

S(x,y)＝R(x,y)·L(x,y)

其中R(x,y)表示MSR圖像，L(x,y)為入射圖像，是入射光作用在物體上的圖像，同時R(x,y)和L(x,y)包含不同的頻率分量，R(x,y)側(cè)重于高頻成分，L(x,y)側(cè)重于低頻成分。

4.根據(jù)權(quán)利要求3所述的一種基于RGB圖像和MSR圖像雙通道的目標檢測方法，其特征在于：所述MSR圖像獲取如下：

log[S(x,y)]＝log[R(x,y)]+log[L(x,y)]

L(x,y)通過中心環(huán)繞函數(shù)F(x,y)和灰度圖像S(x,y)卷積生成，故SSR圖像R_i(x,y)由如下公式求得：

log[R_i(x,y)]＝logS(x,y)-log[S(x,y)*F_i(x,y)]

其中F(x,y)可取高斯濾波器：

其中，c為高斯環(huán)繞尺度，K取值應(yīng)滿足：

∫∫F(x,y)dxdy＝1

最后，MSR圖像R(x,y)由SSR圖像R_i(x,y)和權(quán)重a_i加權(quán)求和得到，公式為：

5.根據(jù)權(quán)利要求4所述的一種基于RGB圖像和MSR圖像雙通道的目標檢測方法，其特征在于：所述FPN模型通過h個Bottleneck單元塊、f*f最大池化層和全連接層進行組合得到骨干網(wǎng)絡(luò)Resnet-50架構(gòu)，其中每個Bottleneck單元塊包括兩層一層點卷積層和位于兩層一層點卷積層中間的一層深度卷積層。