[發明專利]一種基于多尺度的Retinex和改進VGGNet網絡的手勢圖像檢索方法

有效

• 申請號: 202010532767.4
• 申請日: 2020-06-12
• 公開（公告）號: CN111695508B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 謝武;賈清玉;劉滿意;強保華;崔夢銀;瞿元昊
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/20;G06V10/75;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06F16/583;G06F16/55
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 陸夢云

本發明公開了一種基于多尺度的Retinex和改進VGGNet網絡的手勢圖像檢索方法，該方法通過多尺度的Retinex方法對手勢數據圖像進行增強后，對采用深度學習方法對模型進行訓練。當手勢圖像檢索模型訓練好之后，將最后一個FC層提取到的特征作為圖像的特征表示參與手勢圖像檢索任務，并改進的VGGNet的多分支網絡結構中引入哈希層，模型的輸入為手勢圖像和類別標簽，類別標簽作為監督信息學習圖像特征，每個分支學習不同的標簽信息，經過全連接層將之前兩個分支學習到的特征進行融合，得到非線性組合特征，然后經過哈希層將得到低維度的哈希特征，再經過哈希層得到二進制哈希嗎，最后將二進制哈希碼作為特征向量來進行手勢檢索。在保證準確率的前提下，提高手勢檢索的效率。

技術領域

本發明涉及手勢圖像檢索方法，具體是一種基于多尺度的Retinex和改進VGGNet網絡的手勢圖像檢索方法。

背景技術

近年來，深度學習在計算機視覺領域取得了一系列比傳統方法要好的成果，深度學習技術已經成為當前最受歡迎的研究方法之一。在采用高維度的特征向量進行手勢特征向量相似度計算時，由于VGGNet倒數第二層全連接層特征維度高達4096維，并且這些特征都是以浮點數進行存儲，進行手勢圖像檢索時會大大增加相似度匹配的時間，導致了極差的用戶體驗。

發明內容

本發明的目的是針對現有技術中高維度的特征向量在進行手勢特征向量相似度計算時速度較慢的問題，而提出一種基于多尺度的Retinex和改進VGGNet網絡的手勢圖像檢索方法，該方法通過對VGGNet的網絡結構進行改進，在保證手勢圖像檢索準確率的前提下，提高手勢檢索的效率。

實現本發明目的的技術方案是：

一種基于多尺度的Retinex和改進VGGNet網絡的手勢圖像檢索方法，包括如下步驟：

(1)圖片預處理：采用多尺度Retinex算法對手勢圖像進行暗光增強，并在數據增強處理后對手勢圖片進行歸一化，處理成CNN模型需要的數據輸入格式；

(2)特征提?。菏褂糜柧毢玫腃NN模型對手勢圖像進行一系列的卷積、池化和全連接操作，提取手勢圖像的特征，對手勢數據集進行預處理以及標簽的標注、融合，并構建基于VGGNet網絡結構，對其進行定義及初始化訓練，將訓練好的手勢模型最后一個FC層提取到的特征作為圖像的特征表示參與手勢圖像檢索任務，同時引入哈希層，經過全連接層將特征進行融合，得到非線性組合特征，然后經過哈希層得到二進制哈希碼，將該二進制哈希碼作為特征向量來進行手勢檢索，構建特征數據庫；

(3)相似度匹配：從特征數據庫中獲取圖像列表，匹配出與查詢圖片相似的特征。

步驟(1)所述的對手勢圖片進行歸一化處理成CNN模型需要的數據輸入格式，所采用的方法步驟如下：

1)輸入原始圖像I(x,y)；

2)預估出每個位置的噪聲，并剔除，假設人眼看到的圖像I是圖像光照分量L和反射率分量R的乘積，具體表示如公式1所示：

I(x，y)＝R(x，y)·L(x，y) (1)

3)分離三個顏色通道空間分量并轉化到對數域，從所拍攝的圖片I中合理計算出光照L，保留物體的固有屬性R，消除光照分布不均的干擾；同時對公式1兩邊取對數，然后令i(x,y)＝log(I(x,y))，r(x,y)＝log(R(x,y))，l(x,y)＝log(L(x,y))可得到公式2：

i(x,y)＝r(x,y)+l(x,y) (2)

4)設置高斯函數尺度的個數及大??；

5)高斯函數對圖像的三個通道進行濾波，濾波后的圖像就是光照分量，獲取圖像r(x,y)，反射分量計算公式如下。