[發(fā)明專利]面向無人機(jī)航拍圖像的船只識別系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201310331573.8
• 申請日: 2013-07-31
• 公開（公告）號: CN103544505A
• 公開（公告）日: 2014-01-29
• 發(fā)明（設(shè)計(jì)）人: 徐超;張東萍;馮志勇;王建榮
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06K9/64
• 分類號: G06K9/64;G06K9/00;G06T7/00
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李素蘭

1.一種面向無人機(jī)航拍圖像的船只識別系統(tǒng)，其特征在于，該系統(tǒng)包括海面航拍圖像數(shù)據(jù)庫、海面模板選擇模塊、背景Trimap模型自動(dòng)獲取模塊和基于背景模型的Grabcut算法模塊，其中：

海面模板選擇模塊，根據(jù)用戶提供的目標(biāo)圖像，從模板庫中選擇能反應(yīng)此海面信息的模板，該模塊的具體處理包括：

構(gòu)建海面模板庫，

隨機(jī)抽取待分割圖像中50個(gè)像素點(diǎn)，此分割圖像即為無人機(jī)航拍高分辨率圖像，分割處理的具體做法包括：分離陸地及海面，并計(jì)算其特征值：

M(x)=αG(x)+βV(x)+(1-α-β)H(x)?????????(1)

其中，M(x)是特征圖像的特征值，0≤α,β≤1且α+β=1，α，β為權(quán)重變量，G(x)是圖像的灰度均值、V(x）是亮度均值以及H(x）是色調(diào)均值，此處α=β=1/3;

計(jì)算樣本特征與模板庫內(nèi)模板特征之間的歐式距離：

n:=argminyn∈YM‾(x,y,α,β)---(2)]]>

其中，模板庫Y=(y₁,...,y_n,...,y₁₀₀₀)有1000樣本，y_n是樣本庫中第n個(gè)樣本，表示特征圖像與模板之間的差異值；

使用投票法進(jìn)行模板選擇，其中，公式(2)中為投票法的具體實(shí)現(xiàn)；構(gòu)造計(jì)數(shù)器對模板特征值進(jìn)行統(tǒng)計(jì)，將數(shù)目最多的特征值作為樣本圖像的特征值，并反向找到特征值對應(yīng)的模板圖像；

背景Trimap模型自動(dòng)獲取模塊，利用海面模板得到海面種子點(diǎn)，利用種子進(jìn)行區(qū)域生長并得到優(yōu)質(zhì)的背景區(qū)域，生成背景Trimap，該模塊的具體處理包括：

首先使用SSD模板匹配算法，即采用平方差方法進(jìn)行匹配，最小匹配值的點(diǎn)即為目標(biāo)圖像中匹配得到的海面種子點(diǎn)；

SSD(x,y)=Σx′y′[T(x′,y′)-I(x+x′,y+y′)]2Σx′y′T(x′y′)2Σx′y′I(x+x′,y+y′)2---(3)]]>

其中，T(x,y)是海面模板，I(x,y)是目標(biāo)圖像中跟T大小相同的區(qū)域；其中x'∈(0，w-1),y'∈(0,h-1);w是T的寬度，h是T的高度；

使用海面種子點(diǎn)進(jìn)行鄰域生長算法，結(jié)合模板距離閾值參數(shù)，進(jìn)行生長優(yōu)質(zhì)背景，鄰域生長算法的具體處理包括：輸入種子點(diǎn)坐標(biāo)；創(chuàng)建鄰接列表；如果分割區(qū)域中最新加入的像素與區(qū)域像素均值的距離小于給定先驗(yàn)距離閾值；以種子點(diǎn)為中心，遍歷其周圍四個(gè)像素，如果該相鄰像素在分割區(qū)內(nèi)但不是該區(qū)域一部分，將其加入分割區(qū)域；將像素強(qiáng)度最接近平均值的像素加入到該區(qū)域，標(biāo)記后，從鄰接表中去除此像素；輸出背景標(biāo)記圖；

轉(zhuǎn)換背景mask圖為Trimap圖，設(shè)圖像z=(z₁,…，z_n,…，z_N),若

zn=0zn(1)=03zn(1)≠0---(4)]]>

其中z_n(·)表示z_n處第·維的值；

本模塊中使用的平方差匹配算法找到的種子點(diǎn)在其灰度值上更接近模板灰度均值，優(yōu)質(zhì)種子即以此點(diǎn)為種子識別出背景像素占總背景區(qū)域90%以上，使用此種子鄰域生長的距離閾值能夠最大化的實(shí)現(xiàn)背景盡可能多的標(biāo)記而不標(biāo)記前景；由此生成的Trimap圖；

基于背景模型的Grabcut算法模塊，利用背景Trimap進(jìn)行海面背景與目標(biāo)前景進(jìn)行分割，也即分離出前景船只，實(shí)現(xiàn)對海面的精確分離，具體包括船只識別模塊和經(jīng)緯度信息標(biāo)注模塊，該模塊的具體處理包括：

使用Trimap初始化grabcut算法的背景模型，即使用Trimap圖像作為模型的輸入；

使用grabcut算法對海面背景進(jìn)行進(jìn)一步的經(jīng)緯度信息標(biāo)注，通過迭代過程，找到最小迭代次數(shù)，具體處理包括：

輸入背景Trimap，其中背景值為0、可能的前景值為3；計(jì)算機(jī)通過Trimap建立初始的圖像分割，將TrimapBackground中的像素分配到MattingBackground類，將TrimapPossibleForeground中的像素分配到MattingForeground類；其中k∈{1,…，K},K為GMM模型前景背景組件個(gè)數(shù)

k:=min_kD_n(m)??????????(5);

利用初始分割獲取高斯混合模型（GMMs）參數(shù)；像素m和n之間的N-Links權(quán)重為：

N(m,n)=Alphadist(m,n)e-β||zm-zn||2---(6)]]>

其中Alpha的值為先驗(yàn)參數(shù)；

像素m的T-Links權(quán)重為：

D(m)=-log[π(αm,i)1detΣ(αm,i)×e(12[zm-μ(αm,i)]TΣ(αm,i)-1)[zm-μ(αm,i)]]---(7)]]>

θ:=arg?minU(α，k,θ，z)?????????(8);

經(jīng)過計(jì)算，構(gòu)建出新的GMMs；

計(jì)算Gibbs能量方程E(α，k，θ,z)的最小值，得到最小分割，其中：

E(m，n)=U(m)+N(m，n)????????(9)

其中，U(m)=Σ_kD(m)，是顏色高斯混合模型的數(shù)據(jù)項(xiàng)；

應(yīng)用border?matting對圖片邊緣進(jìn)行處理；

輸出結(jié)果圖像。

2.一種面向無人機(jī)航拍圖像的船只識別方法，其特征在于，該方法包括以下步驟：

步驟一、構(gòu)建海面模板庫，隨機(jī)抽取待分割圖像中50個(gè)像素點(diǎn)，此分割圖像即為無人機(jī)航拍高分辨率圖像，分割處理的具體做法包括：分離陸地及海面，并計(jì)算其特征值：

M(x)=αG(x)+βV(x)+(1-α-β)H(x)???????(1)

其中，M(x)是特征圖像的特征值，0≤α,β≤1且α+β=1，α，β為權(quán)重變量，G(x)是圖像的灰度均值、V(x是亮度均值以及H(x)是色調(diào)均值，此處α=β=1/3;

計(jì)算樣本特征與模板庫內(nèi)模板特征之間的歐式距離：

n:=argminyn∈YM‾(x,y,α,β)---(2)]]>

其中，模板庫Y=(y₁,...,y_n,...,y₁₀₀₀)有1000樣本，y_n是樣本庫中第n個(gè)樣本，表示特征圖像與模板之間的差異值；

使用投票法進(jìn)行模板選擇，其中，公式(2)中為投票法的具體實(shí)現(xiàn)；構(gòu)造計(jì)數(shù)器對模板特征值進(jìn)行統(tǒng)計(jì)，將數(shù)目最多的特征值作為樣本圖像的特征值，并反向找到特征值對應(yīng)的模板圖像；

步驟二、首先使用SSD模板匹配算法，即采用平方差方法進(jìn)行匹配，最小匹配值的點(diǎn)即為目標(biāo)圖像中匹配得到的海面種子點(diǎn)；

SSD(x,y)=Σx′y′[T(x′,y′)-I(x+x′,y+y′)]2Σx′y′T(x′y′)2Σx′y′I(x+x′,y+y′)2---(3)]]>

其中，T(x,y)是海面模板，I(x，y)是目標(biāo)圖像中跟T大小相同的區(qū)域，其中x'∈(0，w-1)，y'∈(0，h-1)，w是T的寬度，h是T的高度；

使用海面種子點(diǎn)進(jìn)行鄰域生長算法，結(jié)合模板距離閾值參數(shù)，進(jìn)行生長優(yōu)質(zhì)背景，鄰域生長算法的具體處理包括：輸入種子點(diǎn)坐標(biāo)；創(chuàng)建鄰接列表；如果分割區(qū)域中最新加入的像素與區(qū)域像素均值的距離小于給定先驗(yàn)距離閾值；以種子點(diǎn)為中心，遍歷其周圍四個(gè)像素，如果該相鄰像素在分割區(qū)內(nèi)但不是該區(qū)域一部分，將其加入分割區(qū)域；將像素強(qiáng)度最接近平均值的像素加入到該區(qū)域，標(biāo)記后，從鄰接表中去除此像素；輸出背景標(biāo)記圖；

轉(zhuǎn)換背景mask圖為Trimap圖，設(shè)圖像z=(z₁,…，z_n,…，z_N),若

zn=0zn(1)=03zn(1)≠0---(4)]]>

其中z_n(·)表示z_n處第·維的值；

平方差匹配算法找到的種子點(diǎn)在其灰度值上更接近模板灰度均值，優(yōu)質(zhì)種子即以此點(diǎn)為種子識別出背景像素占總背景區(qū)域90%以上，使用此種子鄰域生長的距離閾值能夠最大化的實(shí)現(xiàn)背景盡可能多的標(biāo)記而不標(biāo)記前景；由此生成的Trimap圖；

步驟三、使用Trimap初始化grabcut算法的背景模型，即使用Trimap圖像作為模型的輸入；使用grabcut算法對海面背景進(jìn)行進(jìn)一步的經(jīng)緯度信息標(biāo)注，通過迭代過程，找到最小迭代次數(shù)，具體處理包括：

輸入背景Trimap，其中背景值為0、可能的前景值為3；計(jì)算機(jī)通過Trimap建立初始的圖像分割，將TrimapBackground中的像素分配到MattingBackground類，將TrimapPossibleForeground中的像素分配到MattingForeground類；其中k∈{1,…，K},K為GMM模型前景背景組件個(gè)數(shù)

k:=min_kD_n(m)????????????(5);

利用初始分割獲取高斯混合模型（GMMs）參數(shù)；像素m和n之間的N-Links權(quán)重為：

N(m,n)=Alphadist(m,n)e-β||zm-zn||2---(6)]]>

其中Alpha的值為先驗(yàn)參數(shù)；

像素m的T-Links權(quán)重為：

D(m)=-log[π(αm,i)1detΣ(αm,i)×e(12[zm-μ(αm,i)]TΣ(αm,i)-1)[zm-μ(αm,i)]]---(7)]]>

θ:=argminU(α，k,θ，z)?????????????(8);

經(jīng)過計(jì)算，構(gòu)建出新的GMMs；

計(jì)算Gibbs能量方程E(α，k,θ，z)的最小值，得到最小分割，其中：

E(m，n)=U(m)+N(m，n)?????????(9)

其中，U(m)=Σ_kD(m)，是顏色高斯混合模型的數(shù)據(jù)項(xiàng)；

應(yīng)用border?matting對圖片邊緣進(jìn)行處理；

輸出結(jié)果圖像。