[發(fā)明專利]一種基于多尺度的Retinex和改進(jìn)VGGNet網(wǎng)絡(luò)的手勢圖像檢索方法

有效

• 申請?zhí)枺?/td>: 202010532767.4
• 申請日: 2020-06-12
• 公開（公告）號: CN111695508B
• 公開（公告）日: 2022-07-19
• 發(fā)明（設(shè)計(jì)）人: 謝武;賈清玉;劉滿意;強(qiáng)保華;崔夢銀;瞿元昊
• 申請（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/20;G06V10/75;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06F16/583;G06F16/55
• 代理公司: 桂林市華杰專利商標(biāo)事務(wù)所有限責(zé)任公司 45112
• 代理人: 陸夢云

1.一種基于多尺度的Retinex和改進(jìn)VGGNet網(wǎng)絡(luò)的手勢圖像檢索方法，其特征是：包括如下步驟：

（1）圖片預(yù)處理：采用多尺度Retinex算法對手勢圖像進(jìn)行暗光增強(qiáng)，并在數(shù)據(jù)增強(qiáng)處理后對手勢圖片進(jìn)行歸一化，處理成CNN模型需要的數(shù)據(jù)輸入格式；所述的對手勢圖片進(jìn)行歸一化處理成CNN模型需要的數(shù)據(jù)輸入格式，所采用的方法步驟如下：

1）輸入原始圖像；

2） 預(yù)估出每個(gè)位置的噪聲，并剔除，假設(shè)人眼看到的原始圖像是圖像光照分量L和反射率分量R的乘積，具體表示如公式1所示：

（1）

3）分離三個(gè)顏色通道空間分量并轉(zhuǎn)化到對數(shù)域，從所拍攝的圖片中合理計(jì)算出光照，保留物體的固有屬性，消除光照分布不均的干擾；同時(shí)對公式1兩邊取對數(shù)，然后令，，可得到公式2：

（2）

4）設(shè)置高斯函數(shù)尺度的個(gè)數(shù)及大小；

5）高斯函數(shù)對圖像的三個(gè)通道進(jìn)行濾波，濾波后的圖像就是光照分量，反射分量計(jì)算公式如下：

其中，表示第個(gè)通道的原始圖像，為高斯濾波函數(shù)，表示第個(gè)通道的反射分量，*代表卷積，為尺度參數(shù)；

所述對手勢圖像進(jìn)行數(shù)據(jù)增強(qiáng)，所采用的方法步驟如下：

1）對于一張手勢圖像，采用多種尺度的高斯濾波函數(shù)，對圖像的三個(gè)通道進(jìn)行濾波，對每個(gè)尺度的反射分量取加權(quán)平均，得到最終輸出結(jié)果，可以將公式（3）變?yōu)椋?/p>

其中，代表第個(gè)高斯濾波函數(shù)，表示高斯濾波函數(shù)的數(shù)量，是第個(gè)尺度的權(quán)重，個(gè)高斯濾波函數(shù)所占比例滿足約束條件：

2）把從對數(shù)域轉(zhuǎn)換到實(shí)數(shù)域得到；

3）對進(jìn)行線性矯正處理，矯正后得到已增強(qiáng)的手勢圖像；

（2）特征提取：使用訓(xùn)練好的CNN模型對手勢圖像進(jìn)行一系列的卷積、池化和全連接操作，提取手勢圖像的特征，對手勢數(shù)據(jù)集進(jìn)行預(yù)處理以及標(biāo)簽的標(biāo)注、融合，并構(gòu)建基于VGGNet網(wǎng)絡(luò)結(jié)構(gòu)，對其進(jìn)行定義及初始化訓(xùn)練，將訓(xùn)練好的手勢模型最后一個(gè)FC層提取到的特征作為圖像的特征表示參與手勢圖像檢索任務(wù)，同時(shí)引入哈希層，經(jīng)過全連接層將特征進(jìn)行融合，得到非線性組合特征，然后經(jīng)過哈希層得到二進(jìn)制哈希碼，將該二進(jìn)制哈希碼作為特征向量來進(jìn)行手勢檢索，構(gòu)建特征數(shù)據(jù)庫；

（3）相似度匹配：從特征數(shù)據(jù)庫中獲取圖像列表，匹配出與查詢圖片相似的特征。

2.根據(jù)權(quán)利要求1所述的手勢圖像檢索方法，其特征是：步驟（2）所述提取手勢圖像的特征包括兩個(gè)面：一個(gè)是對用戶上傳的查詢圖片進(jìn)行特征提取，另一個(gè)是對圖片數(shù)據(jù)庫進(jìn)行特征提取構(gòu)建圖像特征數(shù)據(jù)庫；所采用的提取特征方法步驟如下：

（1）數(shù)據(jù)預(yù)處理：對手勢數(shù)據(jù)集的預(yù)處理以及標(biāo)簽的標(biāo)注與整合，預(yù)處理包括數(shù)據(jù)增強(qiáng)、數(shù)據(jù)歸一化；

（2）構(gòu)建基于VGGNet網(wǎng)絡(luò)結(jié)構(gòu)：采用VGGNet16網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，對VGGNet16進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)定義及初始化，設(shè)置學(xué)習(xí)率lr，批大小batch，迭代輪次epochs；

（3）訓(xùn)練模型：模型的訓(xùn)練和驗(yàn)證交替進(jìn)行；

（4）將步驟（3）訓(xùn)練好的手勢模型最后一個(gè)FC層提取到的特征作為圖像的特征表示參與手勢圖像檢索任務(wù)，輸入為手勢圖像和類別標(biāo)簽，類別標(biāo)簽作為監(jiān)督信息學(xué)習(xí)圖像特征，每個(gè)分支學(xué)習(xí)不同的標(biāo)簽信息，經(jīng)過全連接層將之前兩個(gè)分支學(xué)習(xí)到的特征進(jìn)行融合，得到非線性組合特征，然后經(jīng)過哈希層將得到低維度的哈希特征，再經(jīng)過哈希層得到二進(jìn)制哈希碼，最后將二進(jìn)制哈希碼作為特征向量來進(jìn)行手勢檢索；

（5）保存模型文件；

（6）從測試集中隨機(jī)選取100張圖片作為查詢圖片，其余圖片作為圖像數(shù)據(jù)庫，選取分類效果最好的模型作為特征提取器，構(gòu)建特征數(shù)據(jù)庫。