[發明專利]基于卷積神經網絡和空間金字塔匹配的圖像排序模型

有效

• 申請號: 201610057640.5
• 申請日: 2016-01-27
• 公開（公告）號: CN105718960B
• 公開（公告）日: 2019-01-04
• 發明（設計）人: 劉波;陸雅
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/02
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.基于卷積神經網絡和空間金字塔匹配的圖像排序模型，其中包括卷積神經網絡、近似最近鄰匹配算法、類似空間金字塔匹配(SPM)算法的應用；其特征在于：主要步驟如下，

S1基于卷積神經網絡的圖像塊的特征提取

圖像塊的特征描述符，是為了計算圖像塊之間的相似度，利用卷積神經網絡的學習能力直接從圖像數據集中學習到圖像的特征描述符；利用卷積神經網絡進行特征提取，最主要的就是網絡結構的設計，防止過擬合的發生；

模型由兩個分支構成，對輸入的圖像塊，進行下采樣和中間部分的切割，得到的兩個大小相同的部分分別進行特征提取，每一個分支均由四個卷積層、兩個池化層和四個ReLU層組成，最后對兩個部分得到的特征進行線性組合得到圖像塊的特征描述符，每一個模型的輸入是一組數據，即兩個圖像塊，兩個圖像塊共享相同的網絡結構和參數；兩個圖像塊的特征描述符最終要被輸入要決策層，來判斷兩個圖像塊是否相似，輸出的結果與這組數據對應的標簽進行對比，并利用反向傳播算法對模型進行優化，直到模型收斂；將模型的結構設計成兩個分支是考慮到圖像塊中間部分的信息比圖像塊邊緣部分更具有價值，同時多分辨率下的信息對提高圖像的匹配度至關重要；

S2快速最近鄰查找算法

在圖像檢索領域中，在高維的圖像特征向量中進行查找和匹配是常用的兩種操作，從大規模的高維數據空間中快速準確定位結果向量是至關重要的問題；Kd樹(K-dimensionTree)，是一種針對高維索引的樹形數據結構，是一種常用于高維空間中的近似最近鄰查找技術；這種數據結構最主要的就是Kd樹的構建和查找過程，下面主要介紹Kd樹的構建和查找算法過程如下；

Kd樹的構建類似于二叉查找樹的構建過程，但是仍然有其自身特點，具體過程表述如下：

a)對數據集中的所有數據的每一個維度計算方差，判斷所有方差是否相等，如果相等，則建立一個葉子節點，將數據集中所有數據儲存到該節點中，結束；否則轉至b)；

b)選擇方差最大的維度作為劃分的維度k，計算所有數據在這一個維度下的數值的中值作為劃分的數值m，同時建立一個新的節點用于儲存劃分維度和劃分值；

c)將數據集中的所有數據按照b)步中確定的維度k下的數據和劃分數值m對比，以不大于和大于為依據，將數據集劃分為兩個子集；

d)對劃分的兩個集合分別看作新的數據集，轉至步驟a)；

參照Kd樹的構建，其查找過程可以按照構建的過程來查找到葉子節點，進而分別計算查找點和葉子節點中的數據點的距離，距離最近的可以認為是查詢點的匹配點，但是，劃分數據時僅選擇一個維度的值進行比較，所以，可能導致按照這種方式得到的點不是最緊鄰點，誤差較大；針對這個問題，查找過程中進行了回溯操作，但是，這又導致面對較高維度的圖像塊的特征描述符，這樣查找算法效率低下；

為此，采用改進的查找算法BBF：

a)取節點中保存的劃分維度k和數值，將查詢點在維度k上的值同m進行比較，根據比較結果選擇該節點下的某一個分支下繼續訪問；同時將另一個未被選擇的分支在Kd樹中的位置和其同查詢點的距離保存到一個優先級隊列中；

b)如果當前訪問的節點不是葉子節點，則重復a)中的比較過程；否則，計算查詢點和葉子節點中保存的數據點之間的距離，記錄最小的距離為Min以及對應的數據點P；

c)如果當前回溯的次數小于所給定的最大回溯次數并且優先級隊列不為空，則從隊列中取出和查詢點距離最小的節點訪問，轉至步驟a)；否則，查找結束，此時變量Min中記錄的就是和查詢點的最小距離，變量P中就是和查詢點匹配的近似最近鄰點；

通過上述方法，能夠高效快速地得到兩幅圖像中匹配的圖像塊；

S3類似空間金字塔匹配算法

空間金字塔匹配(SPM)算法受金字塔匹配核函數的啟發，但是兩種方法截然不同，空間金字塔匹配算法是直接按照不同的分辨率將圖像進行劃分，而不是在最終得到的特征空間中對特征集合進行劃分，直接在原始圖像中利用了圖像中的空間信息；該類似空間金字塔匹配算法是將圖像以不同的分辨率進行切分，對每一個分辨率下同一個區域中屬于同一個類別的特征進行計數統計，最后將不同特征進行加權連接作為一幅圖像的特征直方圖作為圖像的特征。

2.根據權利要求1所述的基于卷積神經網絡和空間金字塔匹配的圖像排序模型，其特征在于：考慮到對圖像中的圖像塊進行匹配的時候并未應用到圖像塊相對圖像的空間信息，所以，為了提高圖像相似性的對比性，采用SPM算法中的金字塔式劃分方式，將圖像以不同的分辨率進行劃分，同樣在同一個分辨率下屬于同一個區域下計數，但是，圖像塊的特征沒有類別的劃分，而是對利用快速最近鄰查找算法找到的匹配的圖像塊的數量進行計數作為不同分辨率下的不同匹配數的度量，最后對這些不同分辨率下的不同匹配數加權求和作為兩幅圖像相似性的度量。