[發(fā)明專利]一種多目標(biāo)物體圖像匹配方法

有效

• 申請?zhí)枺?/td>: 201510712952.0
• 申請日: 2015-10-27
• 公開（公告）號: CN105354578B
• 公開（公告）日: 2019-05-21
• 發(fā)明（設(shè)計）人: 汪粼波;方賢勇;仲紅;張少杰
• 申請（專利權(quán)）人: 安徽大學(xué)
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 合肥金安專利事務(wù)所(普通合伙企業(yè)) 34114
• 代理人: 胡治中

1.一種多目標(biāo)物體圖像匹配方法，其特征在于：通過計算機將一對待匹配圖像依次如下處理：

步驟1，局部特征提取與預(yù)匹配：提取待匹配圖像對的局部特征區(qū)域及其特征描述，基于描述的相似性建立圖像間局部特征的初始匹配集；

步驟2，估算初始匹配區(qū)域局部仿射變換：在進(jìn)行步驟1的局部特征提取與預(yù)匹配基礎(chǔ)上，估算待匹配圖像對的初始匹配特征區(qū)域的局部仿射變換；

步驟3，計算仿射變換距離：在進(jìn)行步驟1的局部特征提取與預(yù)匹配基礎(chǔ)上，量化待匹配圖像對中的任意兩對局部特征匹配對間的局部仿射變換距離；

步驟4，定義仿射空間密度函數(shù)：在進(jìn)行步驟1的局部特征提取與預(yù)匹配基礎(chǔ)上，基于局部仿射變換距離定義待匹配圖像對的仿射變換空間密度函數(shù)；

步驟5，基于密度的仿射變換空間聚類：根據(jù)步驟2獲得的局部仿射變換、步驟3獲得的局部仿射變換距離、步驟4獲得的仿射變換空間密度函數(shù)，對待匹配圖像對進(jìn)行基于密度的仿射變換空間聚類，獲得聚類簇及對應(yīng)的仿射矩陣；

步驟6，確定正確匹配對，呈現(xiàn)結(jié)果：根據(jù)步驟5獲得的聚類簇中的仿射矩陣與步驟1中的局部特征匹配對的對應(yīng)關(guān)系，確定最終局部特征匹配對按聚類簇分組，同一組中的特征匹配對對應(yīng)同一目標(biāo)物體，最終呈現(xiàn)位于不同目標(biāo)物體上的局部特征匹配對；

其中，所述步驟1具體如下：

步驟1.1，提取圖像局部特征區(qū)域：采用圖像局部特征區(qū)域檢測算子提取待匹配圖像對的局部特征區(qū)域；所述局部特征區(qū)域具有尺度不變性；通過圖像局部特征區(qū)域檢測算子得到局部特征區(qū)域的幾何形狀為圓形或橢圓形；

步驟1.2，提取特征向量：

當(dāng)局部特征區(qū)域為圓形時，采用基于SIFT特征描述算子提取該局部特征區(qū)域的局部特征向量，其步驟是：假定由步驟1.1所提取的單個局部特征區(qū)域為圓形區(qū)域O_i，其中心坐標(biāo)為p_i，半徑為r_i，首先計算局部特征區(qū)域內(nèi)每個像素點的梯度大小m(x,y)和方向并進(jìn)一步估算局部特征區(qū)域的主梯度方向α_i，具體方法如下：

式中，L(x,y)代表局部特征區(qū)域內(nèi)坐標(biāo)(x,y)點處的像素值；獲得局部特征區(qū)域內(nèi)每個像素點的梯度大小和方向后，將角度區(qū)間[0,360)劃分為36等分，并根據(jù)梯度角的值將梯度m(x,y)疊加到對應(yīng)的角度區(qū)間中，生成梯度直方圖，選取該梯度直方圖中點數(shù)最多的區(qū)間的梯度中值為主梯度方向α_i；此后，將局部特征區(qū)域內(nèi)所有像素的梯度方向沿逆時針旋轉(zhuǎn)α_i，使得局部特征區(qū)域的主梯度方向α_i為0；再分區(qū)域統(tǒng)計局部特征區(qū)域內(nèi)像素的梯度直方圖并進(jìn)行直方圖歸一化操作，最后獲得128維的梯度直方圖向量——即局部特征區(qū)域的特征向量D_i；當(dāng)局部特征區(qū)域為橢圓形時：若步驟1.1輸出為橢圓形區(qū)域，記給定局部特征橢圓形區(qū)域為E_i，其中心坐標(biāo)為p_i，長短軸半徑為以及旋轉(zhuǎn)角為w_i，則通過一個二維空間變換將E_i映射至一個中心在p_i、半徑為r_c的圓形區(qū)域O：且式中，(x,y)^T為E_i上的點,(x',y')^T是圓形區(qū)域O上的對應(yīng)點坐標(biāo)；r_c取值13；得到圓形區(qū)域后再采用SIFT特征描述算子生成特征向量，其過程與前段描述一致；步驟1.3，局部特征初步匹配：令一幅圖像中的單個局部區(qū)域特征描述向量D_i與另一幅圖像中單個局部區(qū)域特征描述向量D_j的距離為d(D_i,D_j)，當(dāng)且僅當(dāng)d(D_i,D_j)乘以給定閾值不大于特征向量D_i與其他所有特征向量的距離，D_i與D_j匹配；閾值取1.1；距離公式定義為：

其中D_ik和D_jk分別表示特征向量D_i和特征向量D_j的第k維分量；

給定一個待匹配圖像對，將其中一幅圖像中所提取的所有局部特征區(qū)域的特征向量逐一在另一幅圖像的局部特征區(qū)域的特征向量中選取其初始匹配，那么每個匹配對將對應(yīng)位于不同圖像中的一對局部特征區(qū)域，將所有的初始匹配對集合起來，構(gòu)成待匹配圖像對的局部特征初始匹配集；

所述步驟3的具體步驟如下：

步驟3.1，定義任意兩對局部特征匹配對間的局部仿射變換距離：給定仿射矩陣X_i和仿射矩陣X_j，二者的距離定義如下：

其中

且

如步驟2.1所述，p_i p_i'及p_j p_j'是仿射矩陣X_i和X_j對應(yīng)的一對匹配局部區(qū)域的中心坐標(biāo)，因此且其中κ(·)將仿射變換后的三維坐標(biāo)(x,y,w)轉(zhuǎn)換為二維坐標(biāo)(x/w,y/w)，w表示像素點(x,y,w)第三維的坐標(biāo)值；D_j|i表示以X_i映射p_j后所得坐標(biāo)點與p'_j的距離，由于p'_j是p_j經(jīng)X_j映射后的坐標(biāo)，D_j|i反映了仿射矩陣X_i與X_j的差異，差異越大，其值越大；D_j|i'表示以映射p_j'后所得坐標(biāo)點與p_j的距離，反映了仿射矩陣與的差異，由于X_i與及X_j與之間是可逆變換，X_i與X_j及與之間的差異應(yīng)具有一致性；同理，D_i|j表示以X_j映射p_i后所得坐標(biāo)點與 p_i' 的距離，D_i|j'表示以映射p_i'后所得坐標(biāo)點與p_i的距離；

D(X_i,X_j)是四者之和的均值，保證了距離的對稱性和正、逆變換對之間的等距性，即：

步驟3.2，定義沖突變換懲罰距離：假定仿射矩陣X_i映射橢圓E_i至橢圓E_i'，仿射矩陣X_j映射橢圓E_j至橢圓E'_j，若E_i與E_j為同一橢圓且E_i'與E_j'不同或E_i'與E_j'相同且E_i與E_j不同，此時稱X_i與X_j為沖突變換，且定義二者的距離需不小于常數(shù)C，即：

若X_i與X_j相沖突,

其中，max(x,y)表示從x和y中選擇較大值；C為常數(shù)，取值250；

基于上述步驟計算局部特征初始匹配集對應(yīng)的仿射變換集中兩兩變換之間的距離，得到所有仿射變換之間的距離值；

所述步驟5的具體步驟如下：

步驟5.1，定義聚類路徑：為確定仿射矩陣X_i的所屬聚類，從X_i出發(fā)，定位空間中密度比X_i的密度ρ_i大且與X_i距離最近的仿射矩陣X_j，定義X_j為X_i的“聚類父節(jié)點”，再從X_j出發(fā)，定位其“聚類父節(jié)點”，重復(fù)該步驟，直至定位到當(dāng)前聚類簇中密度最大的“模態(tài)點”為止；

步驟5.2，模態(tài)點的定義：空間中的模態(tài)點是各聚類簇中密度最大的點，為各模態(tài)點，首先為空間中的每個點定義跟隨距離函數(shù)δ_i如下：

即對于空間中的仿射矩陣X_i，跟隨距離δ_i表示X_i到密度比其大且與其距離最近的仿射矩陣X_j的距離，因此當(dāng)X_i與X_j處于同一聚類簇時，δ_i通常會伴隨密度函數(shù)ρ_i的增大而減小，只當(dāng)X_i到達(dá)當(dāng)前聚類的密度最大值點，即模態(tài)點時，X_j將處于另一聚類簇中，此時δ_i將有一個跳躍增大；最后，當(dāng)X_i的密度值ρ_i為空間中密度最大時，δ_i被定義為X_i與其余仿射矩陣距離的最大值；

定義δ_i的基礎(chǔ)上，定義函數(shù)

η_i＝ρ_iδ_i

給定空間中的一個仿射矩陣X_i，η_i與其密度值ρ_i及δ_i均成正比，即ρ_i與δ_i均越大，則η_i越大；而在同一聚類簇內(nèi)，密度ρ_i的值從邊緣到中心呈逐漸增大的趨勢，并在模態(tài)點處達(dá)到最大；而跟隨距離δ_i則由邊緣到中心逐漸減小，但在模態(tài)點處跳變增大，由此可見，當(dāng)且僅當(dāng)X_i為空間中的模態(tài)點時，ρ_i與δ_i均較大，即η_i較大；因此，模態(tài)點可基于以下操作確定：先計算出空間中所有點的η_i并降序排列，排序前K的數(shù)據(jù)點即為空間中的模態(tài)點；鑒于一個聚類簇只有一個模態(tài)點，K即為空間中聚類簇的個數(shù)，其值可由事先指定，或在確定各聚類簇中包含的仿射矩陣數(shù)目后，自動過濾所含仿射矩陣較少的聚類簇，進(jìn)而動態(tài)確定K的值；

步驟5.3，初步聚類：從空間中每個仿射矩陣X_i出發(fā)，按步驟5.2不斷移動至空間中的一個模態(tài)點，最后將所有收斂于同一模態(tài)點的仿射矩陣歸為同一聚類簇；

步驟5.4，確定聚類簇邊界及最大邊界密度：假定仿射矩陣X_i經(jīng)步驟5.3聚類后屬于聚類簇C_k，且它與聚類簇C_l(l≠k)中仿射矩陣X_j的距離小于定義密度函數(shù)ρ_i時的高斯方差σ，即：

D(X_i,X_j)＜σ

此時認(rèn)定X_iX_j構(gòu)成了聚類簇C_k和C_l的邊界；定義邊界密度

ρ_ij＝(ρ_i+ρ_j)/2

進(jìn)而確定聚類簇C_k的最大邊界密度為：

即是聚類簇C_k中與其他所有聚類簇的邊界密度的最大值；

步驟5.5，優(yōu)化聚類簇：保留聚類簇C_k中所有密度ρ_i大于的仿射矩陣X_i為C_k的聚類成員，并將其余仿射矩陣作為噪聲點剔除。