[發明專利]一種用于軟式自主空中加油的仿鷹眼運動目標定位方法

有效

• 申請號: 201710506141.4
• 申請日: 2017-06-28
• 公開（公告）號: CN107392963B
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 段海濱;王曉華;鄧亦敏
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/136;G06T7/90
• 代理公司: 11232 北京慧泉知識產權代理有限公司
• 代理人: 王順榮;唐愛華<國際申請>=<國際公布>

1.一種用于軟式自主空中加油的仿鷹眼運動目標定位方法，其特征在于：從鷹的視覺系統處理機制出發，結合鷹腦核團之間的相互作用模擬鷹的視覺注意機制，提取加油錐套所在的大致區域，然后使用顏色分割對錐套區域進行特征提取，進而使用位姿估計算法測量加油錐套和受油機視覺系統之間的相對位置信息；該方法的具體步驟如下：

步驟一：仿鷹視頂蓋細胞響應計算

建立有效的仿鷹視頂蓋細胞編碼機制，模擬鷹視頂蓋細胞編碼的有效性和稀疏性，從圖像中獲取方向和邊緣信息，對于任意一幅圖像I均通過一系列圖像基B_k的線性組合進行表示：

其中圖像基B_k從自然圖像中訓練得到，這是自然圖像之間存在的共有信息，a_k是圖像基B_k所對應的系數，該系數具有稀疏性，且由以下公式求出：

其中，C_k稱為編碼濾波器，是圖像基B_k的逆或者偽逆；利用該濾波器對任意一幅圖像進行濾波操作，則得到視頂蓋細胞的響應，且該響應會呈現稀疏性，即大部分的響應值為0，只有少部分的響應值不為0，此響應與關于視頂蓋細胞的生理學研究結果吻合；

軟式空中加油場景下背景區域對應的鷹眼視頂蓋細胞響應是相似的，而加油錐套區域的細胞響應與背景區域不同；細胞響應是由輸入圖像和感受野共同決定的，而視頂蓋細胞的感受野對方向和邊緣信息具有選擇性；某個感受野對應的細胞響應越大說明圖像塊對應的方向和邊緣信息與該感受野的選擇性相吻合；使用最大響應及其對應的感受野描述該圖像塊的信息；同樣的，背景區域的最大響應很相似而加油錐套區域的細胞響應與之有差異；同時背景區域平坦，邊緣信息不明顯，導致其對應的細胞響應并不會在某一個感受野上出現大于其他感受野的現象；相反，在加油錐套區域存在豐富的邊緣信息，且目標區域有方向性，其對應的細胞響應經常會出現在某一個感受野上高于其他感受野；因此，使用每個圖像塊的最大響應來描述該圖像塊是加油錐套區域的概率；

步驟二：仿鷹核團紋理抑制與顯著圖提取

鷹的視覺系統中各細胞感受野之間存在側抑制作用，當有刺激輸入時，中心細胞會受到周圍細胞的抑制作用，該抑制作用表現為對增強算法的抗干擾能力，還考慮了背景區域的紋理一致性；當某個圖像塊與其周圍圖像塊的紋理一致性較強時認為該圖像塊是背景區域的概率較大，因此對其賦以較大的紋理抑制系數進行抑制；反之，當該圖像塊與周圍圖像塊的紋理一致性較弱時說明該圖像塊是加油錐套區域的概率較大，對其賦以較小的紋理抑制系數；紋理一致性計算方法是基于灰度共生矩陣的方法，灰度共生矩陣定義如下：待分析的圖像水平方向有N_x個像素，垂直方向y上有N_y個像素的，圖像的灰

度級為G，設X＝{1,2,...,N_x}表示圖像的水平方向的像素坐標，

Y＝{1,2,...,N_y}表示圖像垂直方向上的像素坐標，N＝{0,1,...,G}為量化后的灰度級，則原圖像表示成一個由水平與垂直坐標到灰度級的映射函數f:X×Y→N；圖像中某個方向上相隔一定距離的一對像素灰度的統計規律反映該圖像的紋理特性，使用一個矩陣來描述每個像素對的灰度統計規律，則得到灰度共生矩陣，表示為W；

圖像中任意一點(x,y)與某個與它距離一定長度的像素點(x+a,y+b)形成一個像素點對，設該像素點對的灰度值為(i,j)，即像素點(x,y)的灰度值為i，像素點(x+a,y+b)的灰度值為j；固定a和b，令點(x,y)在整幅圖像上移動，則會得到各種(i,j)值；假如圖像的灰度級數為G，則i與j的組合共有G²種；在整幅圖像中，統計每一種出現的頻度為P(i,j,d,θ)，則稱方陣[P(i,j,d,θ)]_G×G為灰度共生矩陣，即[P(i,j,d,θ)]_G×G；灰度共生矩陣是兩個像素點的聯合直方圖，距離差分值(a,b)取不同的數值組合，得到圖像沿一定方向θ，相隔一定距離的灰度共生矩陣；

設置a＝b＝2，θ＝[0°,45°，90°，135°]，量化后的灰度等級為8，故灰度共生矩陣是一個8*8*4的矩陣；灰度共生矩陣能夠反映圖像灰度關于方向、相鄰間隔、變化幅度信息；為分析圖像的局部模式和排列規則并不會直接使用得到的灰度共生矩陣，而是在其基礎上獲取二次統計量；在獲取灰度共生矩陣的特征參數之前，要作正規化處理，利用下式進行正規化處理：

P(i,j,d,θ)＝P(i,j,d,θ)/R (3)

其中，R是正規化常數，是灰度共生矩陣中全部元素之和；

二次統計量有對比度和熵，其中對比度定義如下：

W₁＝∑∑[(i-j)²×P²(i,j,d,θ)] (4)

對比度是W₁陣中關于主對角線的慣性矩，它度量了矩陣值的分布情況和圖像的局部變化；W₁的值越大說明紋理對比越強烈，圖像越清晰，紋理效果越明顯；

熵定義如下：

W₂＝-∑∑P(i,j,d,θ)×log₁₀P(i,j,d,θ) (5)

熵代表了圖像的信息量是圖像內容隨機性的度量，能表征紋理的復雜程度；當圖像無紋理時熵為0，滿紋理時熵最大；為了計算圖像的紋理抑制系數，采用在每個像素周圍進行兩個不同窗口大小的采樣，對采樣得到的兩個圖像塊分別計算其灰度共生矩陣；然后利用計算公式(3)得到正規化后的灰度共生矩陣；利用灰度共生矩陣分別計算其二次統計量，然后計算兩個二次統計量之間的距離，該距離描述了某一個圖像塊與其周圍圖像塊的紋理一致性；如果兩個二次統計量之間的距離越大則說明該圖像塊與周圍區域的紋理存在較大差異，故其紋理抑制系數應賦以較小的值；反之若兩個二次統計量之間的距離較小則說明該圖像塊與周圍區域的紋理較為相似，此時該圖像塊對應的紋理抑制系數應較大；使用每個圖像塊對應兩個灰度共生矩陣的二次統計量之間的距離作為其紋理抑制系數，然后將紋理抑制系數的倒數作為紋理增強系數與圖像每個圖像塊對應的最大響應相乘得到圖像的顯著圖，顯著度最大值對應的區域即為錐套區域；使用仿鷹眼顯著圖提取得到的顯著圖濾除部分背景信息，為后續的處理減少計算量；

步驟三：顏色閾值分割

設計的驗證平臺中，加油錐套區域為紅色圓環；使用圓環表示加油錐套區域，在圓環上粘貼綠色和藍色的標識用于視覺定位；最上面一個點為藍色，作為第一個標識點，依次對各點進行編號，其余點為綠色；仿鷹眼顯著圖提取獲得包含錐套的大致區域，在顯著圖提取的基礎上，對顯著區域進行顏色閾值分割，以得到更加精確的錐套區域；相比于RGB即紅-綠-藍顏色空間，HSV即色相-飽和度-亮度顏色空間在顏色表達上更加符合人類的顏色感知方式，把色彩分解成人眼中不對稱的三個分量：色相、飽和度和亮度；HSV顏色空間的三個分量更加直觀的表達色彩的明暗、色調以及鮮艷程度；在顯著圖提取的基礎上，利用H即色相、S即飽和度兩個通道對圖像進行閾值分割，得到包含錐套的紅色物體的區域，將分割之后的圖像二值化，得到分割二值圖；

步驟四：感興趣區域提取

由于閾值分割提取到的區域是不完整的，且包含噪聲，為了得到原圖的感興趣區域，首先對第一次HSV閾值分割得到的二值圖進行形態學操作，并提取每個紅色區域的外部輪廓；第r個區域的輪廓點集為q_r，其中第r個區域的第m個輪廓點的圖像坐標為對每個區域輪廓點的圖像坐標的兩個維度進行排序計算，得到每個區域輪廓點坐標的最大值和最小值，從而獲得每個區域的外接矩形，作為ROI即Region of Interest區域，表示為

ROI^r＝(u^r,v^r,w^r,h^r)，u^r和v^r分別表示ROI矩形區域左上角頂點的圖像坐標，w^r和h^r分別表示該矩形區域的寬度和高度，從而唯一確定了每個區域的外接矩形；

圖像中的紅色區域在圖像中所占像素比例很小，對提取到的ROI進行進一步的處理時，占用的計算資源遠小于對原圖進行操作，從而達到了提高計算速度的目的；由于設計的加油錐套中紅色區域內包含綠色和藍色的標識點，在紅色閾值分割得到的二值圖中錐套區域會出現孔洞；因此在ROI提取的同時，對輪廓區域的孔洞進行填充；加油錐套是一個圓環，為了防止內環區域也被填充，對分割得到的每個紅色區域里面的每個空洞面積進行判斷，對超出面積閾值的輪廓不填充，從而得到正確的紅色ROI；

步驟五：錐套標識點坐標獲取

錐套區域粘貼了藍色和綠色的圓形標識點，當錐套與受油機距離接近時，根據每個ROI是否包含藍色和綠色圓片判斷此區域是否為錐套區域；對每個ROI區域分別進行藍色通道和綠色通道的HSV閾值分割，判斷紅色區域中是否包含藍色或綠色的圓片，從而剔除出非目標的紅色干擾物體，找到錐套感興趣區域；

檢測到錐套區域后，對圓形標識點的中心點進行提??；首先，將灰度圖像使用連續等步長的閾值分割為二值圖集合，若分割閾值范圍為[T₁,T₂]，步長為t，則所有閾值為：T₁，T₁+t，T₁+2t，…，T₂；其次，提取每幅二值圖的邊界，檢測其連通區域，并提取出二值圖連通區域的中心圖像坐標；再次，統計所有二值圖的連通區域中心坐標，若不同二值圖的連通區域中心距離小于一個閾值，則這些二值圖斑點同屬于一個灰度圖像斑點；最后，確定灰度圖像斑點的圖像坐標和尺寸；斑點在灰度圖像中的坐標位置通過所有對應的二值圖斑點中心坐標加權求得，如計算公式(6)所示，q_r為第r個二值圖斑點的慣性率，因此二值圖斑點形狀越接近圓形，它對灰度圖像斑點位置的貢獻就越大；灰度圖像斑點的尺寸則為所有二值圖斑點的半徑長度中值；

在二值圖的斑點提取過程中，通過限定斑點的形狀、面積和顏色來濾除雜點；由于錐套上的標識點為圓形，因此通過設定斑點的面積閾值和圓度閾值，濾除雜點；每一個斑點對應加油錐套上的一個紅色圓環內的綠色或藍色標識點；在標識點提取過程中，輸入圖像為HSV閾值分割后的圖像，不需要將圖像進行二值化，直接對輸入圖像進行連通區域檢測，并根據圓度和面積閾值濾除掉非圓雜點，輸出每個標識點的中心圖像坐標；

步驟六：標識點匹配

在進行位姿測量前，還需確定提取到的圖像坐標點與實際圓形標識點的一一對應關系，通過步驟五提取方法得到藍色標識點和綠色標識點的圖像坐標，但是無法對不同編號的標識點進行區分，因此，采用特征點匹配算法來解決特征點的對應問題；

采用以下方法對特征點進行標識：設綠色圓形標識點為第一個點，在成像平面上離第一個標識點歐氏距離最近的藍色點為第二個標識點；除第一個標識點外，與第二個標識點距離最近的點為第三個標識點，以此類推，將所有標識點進行編號；

步驟七：相機參數標定

制作一個黑白棋盤格標定板，每個格子的邊長為已知值；利用視覺傳感器對棋盤格進行不同角度和不同縱深的拍攝，這樣減少標定誤差得到更加準確的相機內參；在標定實驗中，用相機對不同角度的棋盤格分別采集圖像，提取到每個標定圖像棋盤格的角點之后，計算相機模型，由于鏡頭畸變小，只考慮相機的鏡像畸變，利用MATLAB 2015a工具箱對相機進行標定后得到相機的內參和畸變系數；

步驟八：加油錐套位姿測量

針對軟式空中加油問題，相機安裝在受油機的某一位置上；為獲取加油錐套相對于受油口的相對位置，利用標識點位置信息及相機成像模型來進行相對位置解算；采用基于魯棒位姿測量算法進行加油錐套位姿測量，通過建立一個七階多項式作為代價函數來得到魯棒位姿測量算法問題的解。