[發(fā)明專利]一種基于多尺度的Retinex和改進(jìn)VGGNet網(wǎng)絡(luò)的手勢(shì)圖像檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010532767.4
• 申請(qǐng)日: 2020-06-12
• 公開(kāi)（公告）號(hào): CN111695508B
• 公開(kāi)（公告）日: 2022-07-19
• 發(fā)明（設(shè)計(jì)）人: 謝武;賈清玉;劉滿意;強(qiáng)保華;崔夢(mèng)銀;瞿元昊
• 申請(qǐng)（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V40/20;G06V10/75;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06F16/583;G06F16/55
• 代理公司: 桂林市華杰專利商標(biāo)事務(wù)所有限責(zé)任公司 45112
• 代理人: 陸夢(mèng)云

1.一種基于多尺度的Retinex和改進(jìn)VGGNet網(wǎng)絡(luò)的手勢(shì)圖像檢索方法，其特征是：包括如下步驟：

（1）圖片預(yù)處理：采用多尺度Retinex算法對(duì)手勢(shì)圖像進(jìn)行暗光增強(qiáng)，并在數(shù)據(jù)增強(qiáng)處理后對(duì)手勢(shì)圖片進(jìn)行歸一化，處理成CNN模型需要的數(shù)據(jù)輸入格式；所述的對(duì)手勢(shì)圖片進(jìn)行歸一化處理成CNN模型需要的數(shù)據(jù)輸入格式，所采用的方法步驟如下：

1）輸入原始圖像；

2） 預(yù)估出每個(gè)位置的噪聲，并剔除，假設(shè)人眼看到的原始圖像是圖像光照分量L和反射率分量R的乘積，具體表示如公式1所示：

（1）

3）分離三個(gè)顏色通道空間分量并轉(zhuǎn)化到對(duì)數(shù)域，從所拍攝的圖片中合理計(jì)算出光照，保留物體的固有屬性，消除光照分布不均的干擾；同時(shí)對(duì)公式1兩邊取對(duì)數(shù)，然后令，，可得到公式2：

（2）

4）設(shè)置高斯函數(shù)尺度的個(gè)數(shù)及大小；

5）高斯函數(shù)對(duì)圖像的三個(gè)通道進(jìn)行濾波，濾波后的圖像就是光照分量，反射分量計(jì)算公式如下：

其中，表示第個(gè)通道的原始圖像，為高斯濾波函數(shù)，表示第個(gè)通道的反射分量，*代表卷積，為尺度參數(shù)；

所述對(duì)手勢(shì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)，所采用的方法步驟如下：

1）對(duì)于一張手勢(shì)圖像，采用多種尺度的高斯濾波函數(shù)，對(duì)圖像的三個(gè)通道進(jìn)行濾波，對(duì)每個(gè)尺度的反射分量取加權(quán)平均，得到最終輸出結(jié)果，可以將公式（3）變?yōu)椋?/p>

其中，代表第個(gè)高斯濾波函數(shù)，表示高斯濾波函數(shù)的數(shù)量，是第個(gè)尺度的權(quán)重，個(gè)高斯濾波函數(shù)所占比例滿足約束條件：

2）把從對(duì)數(shù)域轉(zhuǎn)換到實(shí)數(shù)域得到；

3）對(duì)進(jìn)行線性矯正處理，矯正后得到已增強(qiáng)的手勢(shì)圖像；

（2）特征提?。菏褂糜?xùn)練好的CNN模型對(duì)手勢(shì)圖像進(jìn)行一系列的卷積、池化和全連接操作，提取手勢(shì)圖像的特征，對(duì)手勢(shì)數(shù)據(jù)集進(jìn)行預(yù)處理以及標(biāo)簽的標(biāo)注、融合，并構(gòu)建基于VGGNet網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)其進(jìn)行定義及初始化訓(xùn)練，將訓(xùn)練好的手勢(shì)模型最后一個(gè)FC層提取到的特征作為圖像的特征表示參與手勢(shì)圖像檢索任務(wù)，同時(shí)引入哈希層，經(jīng)過(guò)全連接層將特征進(jìn)行融合，得到非線性組合特征，然后經(jīng)過(guò)哈希層得到二進(jìn)制哈希碼，將該二進(jìn)制哈希碼作為特征向量來(lái)進(jìn)行手勢(shì)檢索，構(gòu)建特征數(shù)據(jù)庫(kù)；

（3）相似度匹配：從特征數(shù)據(jù)庫(kù)中獲取圖像列表，匹配出與查詢圖片相似的特征。

2.根據(jù)權(quán)利要求1所述的手勢(shì)圖像檢索方法，其特征是：步驟（2）所述提取手勢(shì)圖像的特征包括兩個(gè)面：一個(gè)是對(duì)用戶上傳的查詢圖片進(jìn)行特征提取，另一個(gè)是對(duì)圖片數(shù)據(jù)庫(kù)進(jìn)行特征提取構(gòu)建圖像特征數(shù)據(jù)庫(kù)；所采用的提取特征方法步驟如下：

（1）數(shù)據(jù)預(yù)處理：對(duì)手勢(shì)數(shù)據(jù)集的預(yù)處理以及標(biāo)簽的標(biāo)注與整合，預(yù)處理包括數(shù)據(jù)增強(qiáng)、數(shù)據(jù)歸一化；

（2）構(gòu)建基于VGGNet網(wǎng)絡(luò)結(jié)構(gòu)：采用VGGNet16網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，對(duì)VGGNet16進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)定義及初始化，設(shè)置學(xué)習(xí)率lr，批大小batch，迭代輪次epochs；

（3）訓(xùn)練模型：模型的訓(xùn)練和驗(yàn)證交替進(jìn)行；

（4）將步驟（3）訓(xùn)練好的手勢(shì)模型最后一個(gè)FC層提取到的特征作為圖像的特征表示參與手勢(shì)圖像檢索任務(wù)，輸入為手勢(shì)圖像和類別標(biāo)簽，類別標(biāo)簽作為監(jiān)督信息學(xué)習(xí)圖像特征，每個(gè)分支學(xué)習(xí)不同的標(biāo)簽信息，經(jīng)過(guò)全連接層將之前兩個(gè)分支學(xué)習(xí)到的特征進(jìn)行融合，得到非線性組合特征，然后經(jīng)過(guò)哈希層將得到低維度的哈希特征，再經(jīng)過(guò)哈希層得到二進(jìn)制哈希碼，最后將二進(jìn)制哈希碼作為特征向量來(lái)進(jìn)行手勢(shì)檢索；

（5）保存模型文件；

（6）從測(cè)試集中隨機(jī)選取100張圖片作為查詢圖片，其余圖片作為圖像數(shù)據(jù)庫(kù)，選取分類效果最好的模型作為特征提取器，構(gòu)建特征數(shù)據(jù)庫(kù)。