[發(fā)明專利]一種基于無(wú)人機(jī)雙目視覺(jué)SGC算法的輸電線路提取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811340192.5
• 申請(qǐng)日: 2018-11-12
• 公開(kāi)（公告）號(hào): CN109523528B
• 公開(kāi)（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 陳玉;王傳策;張敏;李云;黃凱;任凌然
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T5/00;G06T7/136
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 徐文權(quán)

1.一種基于無(wú)人機(jī)雙目視覺(jué)SGC算法的輸電線路提取方法，其特征在于，包括以下步驟：

(1)對(duì)左、右相機(jī)進(jìn)行立體標(biāo)定，分別獲取左、右相機(jī)的內(nèi)外參數(shù)，確定兩個(gè)相機(jī)的相對(duì)位置關(guān)系，最后建立雙目成像模型，指導(dǎo)目標(biāo)三維信息的計(jì)算；對(duì)左、右相機(jī)進(jìn)行立體標(biāo)定，其具體方法如下：

通過(guò)調(diào)整棋盤(pán)格標(biāo)定板的方向，為棋盤(pán)格標(biāo)定板拍攝不同方向的照片，分別采集左右圖像各18張，使用OpenCV的標(biāo)定程序?qū)﹄p目相機(jī)進(jìn)行標(biāo)定；

(2)通過(guò)無(wú)人機(jī)搭載雙目相機(jī)獲取輸電線路左右圖像；雙目相機(jī)搭載在無(wú)人機(jī)上自動(dòng)采集左右圖像，其具體方法如下：

通過(guò)無(wú)人機(jī)上搭載的微型計(jì)算機(jī)中的程序控制雙目相機(jī)，并設(shè)置好采集的時(shí)間間隔，實(shí)現(xiàn)在無(wú)人機(jī)飛行的過(guò)程中自動(dòng)采集左右輸電線路圖像對(duì)；

(3)采集到初始圖像對(duì)之后，對(duì)其進(jìn)行顏色校正和幾何校正，獲得極線校正后的輸電線路圖像；對(duì)無(wú)人機(jī)采集的左、右兩幅輸電線路圖像進(jìn)行極線校正，其具體方法如下：

通過(guò)圖像對(duì)極線校正，對(duì)雙目左、右輸電線路圖像進(jìn)行雙目校正后得到校正后的輸電線路圖像，從圖中能夠觀察到，左、右輸電線路圖像中對(duì)應(yīng)的像素在同一條平行極線上；

(4)對(duì)極線校正后的輸電線路圖像進(jìn)行SGC立體匹配算法處理，獲得視差圖；對(duì)極線校正后的輸電線路圖像進(jìn)行SGC立體匹配算法處理，其具體方法如下：

(401)新能量函數(shù)的構(gòu)造

完整網(wǎng)格圖能量函數(shù)由兩部分組成：第一部分表示每個(gè)像素點(diǎn)本身的灰度值，第二部分則表示相鄰像素點(diǎn)對(duì)的平滑屬性，所以在完整網(wǎng)格圖中平滑邊決定著能量函數(shù)的值，而在簡(jiǎn)化的網(wǎng)格圖中，通過(guò)局部立體匹配算法SAD計(jì)算出的先驗(yàn)視差值以及與平滑邊有關(guān)的懲罰項(xiàng)共同決定能量函數(shù)值；

在構(gòu)造匹配能量函數(shù)時(shí)，需要數(shù)據(jù)項(xiàng)和平滑項(xiàng)兩個(gè)約束項(xiàng)：

式中：

f——為標(biāo)記視差；

E_data(f)——數(shù)據(jù)項(xiàng)，代表f所觀察到的數(shù)據(jù)的不一致性；

E_smooth(f)——平滑項(xiàng)，表示f局部平滑的程度；

P——圖片所有像素點(diǎn)的集合；

p——集合中的一個(gè)像素點(diǎn)；

q——集合中的一個(gè)像素點(diǎn)；

f_p——p的標(biāo)記視差；

f_q——q的標(biāo)記視差；

{p,q}——圖片中相鄰的兩個(gè)像素點(diǎn)；

N——圖片中相鄰的像素對(duì)集合；

在數(shù)據(jù)項(xiàng)中，采用像素點(diǎn)不相似度的線性插值方法，即兩個(gè)像素點(diǎn)的不相似度不能只使用像素灰度的不相似性來(lái)度量，因此，采用亞像素線性插值的方法，對(duì)單個(gè)像素點(diǎn)進(jìn)行匹配，這樣能得到更精確的匹配，具體公式如下 所示：

D_p(f_p)＝|I₁(x,y)-I₂(x+f_p,y)| (2)

式(2)中，f_p∈{f_1,p,f_2,p,…,f_N,p}，I₁(x,y)代表(x,y)處像素點(diǎn)的灰度值，I₂(x+f_p,y)代表(x+f_p,y)處像素點(diǎn)的灰度值；

先對(duì)x軸進(jìn)行線性插值：

再擴(kuò)展到y(tǒng)軸上，如下：

式中，s,r分別為x軸和y軸的偏移量，I₂(x+f_p+s,y)代表(x+f_p+s,y)處像素點(diǎn)的灰度值，I₂(x+f_p+s,y+r)代表(x+f_p+s,y+r)處像素點(diǎn)的灰度值；

為了提高運(yùn)算速度，先采用SAD局部?jī)?yōu)化算法先得到像素的可能視差范圍，再進(jìn)行到二維的亞像素匹配；

為了避免在邊緣與多紋理區(qū)域產(chǎn)生過(guò)度的平滑現(xiàn)象，采用Potts模型的平滑函數(shù)，平滑項(xiàng)的公式為：

V_p,q(f_p,f_q)＝λ·T (5)

在式(5)和(6)中，其中k取值為20，I_p，I_q分別是點(diǎn)p和q處的像素灰度值，當(dāng)f_p＝f_q時(shí)，T＝0；當(dāng)f_p≠f_q時(shí)，T＝1；

(402)簡(jiǎn)化網(wǎng)格圖的構(gòu)建

首先利用SAD立體匹配算法，在視差[d_min,d_max]范圍內(nèi)計(jì)算出左視圖中每個(gè)像素的匹配值，然后，選取M＝4，M是最適合匹配值的個(gè)數(shù)，選擇的像素視差作為初始估計(jì)值，標(biāo)記為{d_1,p,d_2,p,…,d_N,p}，相應(yīng)的匹配值為

為了簡(jiǎn)化網(wǎng)格圖，圖中的每個(gè)像素只保留M-1個(gè)節(jié)點(diǎn)和M條邊，刪除其余的節(jié)點(diǎn)和邊緣；因此，簡(jiǎn)化網(wǎng)格圖中的每個(gè)像素周圍的節(jié)點(diǎn)為通過(guò)視差邊將這些節(jié)點(diǎn)聯(lián)系在一起，每條邊的容量為C是一個(gè)滿足式(7)的常數(shù)，引入常量C的目的是保證t-links割恰好在一條邊界上，表示第i個(gè)匹配值；

式中，|d_max-d_min|為最大視差，u{p,q}為相鄰的兩個(gè)像素點(diǎn)p與q相似性的函數(shù)；

完整網(wǎng)格圖的能量函數(shù)包含兩個(gè)部分，第一部分代表像素本身灰度值；第二部分為相鄰像素的光滑屬性；因此，在完整網(wǎng)格圖中，能量函數(shù)的值取決于n-links邊；在簡(jiǎn)化網(wǎng)格圖中，決定能量函數(shù)值的有兩部分，一部分是采用局部匹配計(jì)算出的先驗(yàn)視差值，另一部分是與n-links邊有關(guān)的懲罰項(xiàng)；

簡(jiǎn)化后的網(wǎng)格圖能量函數(shù)表達(dá)式如式(8)所示：

式(8)中，簡(jiǎn)化后的標(biāo)記視差集合只包括M個(gè)潛在的可能視差值；D_p(f_p)表示將標(biāo)記視差f_p賦值給像素點(diǎn)p的代價(jià)函數(shù)；u_{p,q}|f_P-f_q|表示Potts模型的平滑函數(shù)；

(403)能量函數(shù)最小化的匹配

在裁減優(yōu)化的網(wǎng)格圖構(gòu)造完成后，進(jìn)行一個(gè)s-t切割，將頂點(diǎn)V分割為兩個(gè)不相交的集合S和集合T，這樣，最小割的問(wèn)題就等同于找到最小代價(jià)的切割C，即C＝S,T，再根據(jù)Ford和Fulkerson的增廣路徑算法，在求取能量函數(shù)的最小值時(shí)，采用最大流/最小割算法，最小割所對(duì)應(yīng)的標(biāo)記視差f，滿足E(f)＝argminE(f)，再使用α-擴(kuò)展算法進(jìn)行能量函數(shù)最小化求解，最終得到所需要的視差分布；

(5)采用雙峰閾值分割算法進(jìn)行視差圖的分割，得到純凈的輸電線路，對(duì)視差圖采用雙峰閾值分割算法進(jìn)行分割，去除復(fù)雜背景獲得純凈的輸電線路圖像，其具體方法如下：

根據(jù)對(duì)輸電線路視差圖的灰度直方圖進(jìn)行分析，采用雙峰閾值分割算法進(jìn)行分割對(duì)視差圖進(jìn)行分割剔除復(fù)雜背景得到純凈的輸電線路圖像，避免對(duì)輸電線路進(jìn)行三維重建，通過(guò)計(jì)算目標(biāo)物體間的相對(duì)深度信息完成圖像分割。