[發(fā)明專利]一種結(jié)合超分辨率重建的衛(wèi)星序列影像運(yùn)動(dòng)目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011091552.X
• 申請(qǐng)日: 2020-10-13
• 公開（公告）號(hào): CN112270697B
• 公開（公告）日: 2022-11-18
• 發(fā)明（設(shè)計(jì)）人: 梁亮;卜麗靜;吳文玉;孫衛(wèi)東
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06T7/254
• 分類號(hào): G06T7/254;G06T7/246;G06T7/269;G06T3/40
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 廖元秋

1.一種結(jié)合超分辨率重建的衛(wèi)星序列影像運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于，該方法包括以下步驟：

1)獲取衛(wèi)星序列影像，使用背景差分法對(duì)該衛(wèi)星序列影像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，得到前景影像組成的前景影像序列和背景影像組成的背景影像序列；具體步驟如下：

1-1)獲取衛(wèi)星序列影像，該衛(wèi)星序列影像包含M幀影像；

1-2)選取初始背景影像，然后構(gòu)建背景模型，利用時(shí)間窗劃分衛(wèi)星序列影像得到窗口影像序列，并利用窗口影像序列訓(xùn)練背景模型；具體步驟如下：

1-2-1)選取衛(wèi)星序列影像的第1幀影像為初始背景影像；

1-2-2)設(shè)定時(shí)間窗的大小為N，滑動(dòng)時(shí)間窗，將步驟1)得到的衛(wèi)星序列影像劃分為多個(gè)窗口影像序列；

1-2-3)采用單高斯背景模型法建立背景模型并作為當(dāng)前背景模型，該模型為利用背景影像的統(tǒng)計(jì)特征構(gòu)建的高斯分布函數(shù)，表達(dá)式為：

I(x,y)～N(μ(x,y),∑(x,y))

其中，I(x，y)代表背景影像，x和y分別代表行和列，N()代表高斯分布函數(shù)，μ(x，y)代表期望；∑(x,y)代表協(xié)方差；

1-2-4)從第1個(gè)窗口影像序列開始，將每個(gè)影像窗口序列依次輸入當(dāng)前背景模型，利用每次輸入的窗口影像序列中的影像對(duì)當(dāng)前背景模型進(jìn)行訓(xùn)練并不斷更新當(dāng)前背景影像：當(dāng)前背景模型輸出該輸入序列中每幀影像中每個(gè)像素點(diǎn)對(duì)應(yīng)的概率值P(x,y,t)，表達(dá)式為：

其中，t代表幀號(hào)，t＝1,2,…,M；

然后，對(duì)P(x,y,t)進(jìn)行判定：

若滿足P(x,y,t)≤T_p，則將該像素點(diǎn)歸為對(duì)應(yīng)輸入影像的背景點(diǎn)，反之將該像素點(diǎn)歸為前景點(diǎn)，T_p為概率閾值；

對(duì)輸入的窗口序列的每幀影像的所有像素點(diǎn)判定完畢后，所有判定為背景點(diǎn)的像素點(diǎn)組成該輸入影像對(duì)應(yīng)的當(dāng)前背景影像，最終得到該輸入窗口序列對(duì)應(yīng)的當(dāng)前背景影像序列；

然后，利用下式更新當(dāng)前背景模型：

其中d(x,y,t)＝I(x,y,t)-μ(x,y,t-1)表示灰度差，α是代表更新速度；

將每幀影像通過所在窗口影像序列最后一次輸入當(dāng)前背景模型后得到的對(duì)應(yīng)當(dāng)前背景影像最終組成背景影像序列，該序列中每幀背景影像記為B_k，k＝1，2，3，...，M，B_k代表衛(wèi)星序列影像中第k幀影像對(duì)應(yīng)的背景影像；

1-3)利用背景差分法，從衛(wèi)星序列影像中依次選取每幀影像，計(jì)算該選取的影像與對(duì)應(yīng)背景影像之間的差分影像，對(duì)該差分影像通過閾值化處理，得到該選取的影像對(duì)應(yīng)的包含運(yùn)動(dòng)目標(biāo)的二值化的前景影像，所有前景影像組成衛(wèi)星序列影像對(duì)應(yīng)的前景影像序列，該序列中每幀背景影像記為A_k，k＝1，2，3，...，M，A_k代表衛(wèi)星序列影像中第k幀影像對(duì)應(yīng)的前景影像；

2)對(duì)步驟1)得到的前景影像序列中的每一幀前景影像A_k使用基于均方根誤差的快速超分辨率重建算法進(jìn)行超分辨率重建，獲得對(duì)應(yīng)的高分辨率的前景影像C_k；具體步驟如下：

2-1)對(duì)每幀前景影像A_k進(jìn)行運(yùn)動(dòng)估計(jì)，得到該幀影像對(duì)應(yīng)的運(yùn)動(dòng)參數(shù)向量M_LR-K；

2-2)根據(jù)重建倍數(shù)r對(duì)每幀A_k建立對(duì)應(yīng)的高分辨率圖像格網(wǎng)HR；

2-3)將步驟2-1)得到M_LR-K乘以重建倍數(shù)r再四舍五入至整像素，得到HR尺度下每幀A_k對(duì)應(yīng)的的運(yùn)動(dòng)參數(shù)向量MP_HR-K；

2-4)將每幀A_k逐幀進(jìn)行添零上采樣得到該幀對(duì)應(yīng)的與HR同尺度的影像LR_UP-k；

2-5)將LR_UP-k根據(jù)MP_HR-k在A_k對(duì)應(yīng)的HR格網(wǎng)上對(duì)齊；

2-6)在每幀A_k對(duì)應(yīng)的HR格網(wǎng)上逐像素開窗口計(jì)算得到該HR格網(wǎng)上的每個(gè)像素值，計(jì)算方法如下：

從每幀A_k對(duì)應(yīng)的HR格網(wǎng)上任意選取一個(gè)待計(jì)算像素的位置，以該位置為窗口中心按照設(shè)定的窗口大小進(jìn)行開窗計(jì)算，得到該窗口所有位置在對(duì)應(yīng)LR_UP-k中對(duì)應(yīng)位置像素與該窗口所有位置在A_k中對(duì)應(yīng)位置像素的均方根誤差；

若該均方根誤差小于誤差閾值，則以該窗口所有位置在LR_UP-k中對(duì)應(yīng)位置的像素值的均值作為該HR格網(wǎng)選取的位置處的像素值；若該均方根誤差大于等于指定誤差閾值，則以該窗口所有位置在A_k中對(duì)應(yīng)位置的像素值的中位數(shù)作為該HR格網(wǎng)選取位置處的像素值；

對(duì)每幀A_k對(duì)應(yīng)的HR格網(wǎng)的所有位置計(jì)算像素完畢后，得到每幀A_k對(duì)應(yīng)的高分辨率前景影像C_k；

3)對(duì)步驟1)得到的背景影像序列中每一幀背景影像B_k使用ESRGAN方法進(jìn)行超分辨率重建，得到對(duì)應(yīng)的高分辨率的背景影像D_k；具體步驟如下：

3-1)獲取衛(wèi)星影像數(shù)據(jù)集作為高分辨率的訓(xùn)練數(shù)據(jù)集；根據(jù)衛(wèi)星序列影像降質(zhì)特征，構(gòu)建對(duì)應(yīng)的低分辨率的訓(xùn)練數(shù)據(jù)集；

3-2)構(gòu)建ESRGAN模型；

3-3)將步驟3-1)得到的高分辨率和低分辨率的訓(xùn)練數(shù)據(jù)集輸入步驟3-2)建立的模型進(jìn)行訓(xùn)練，得到訓(xùn)練完畢ESRGAN模型的權(quán)值文件；

3-4)使用步驟3-3)中訓(xùn)練得到的權(quán)值文件，重建步驟1)中得到的背景影像序列中的每幀背景影像B_K，獲得對(duì)應(yīng)的超分重建的高分辨率的背景影像D_k；

4)將每幀D_k作為對(duì)應(yīng)衛(wèi)星序列影像新的背景影像，利用背景差分法，計(jì)算衛(wèi)星序列影像中每幀影像與對(duì)應(yīng)的D_k之間的差分影像，獲得對(duì)應(yīng)的更新后的前景影像E_k，k＝1，2，3，...，M；

5)對(duì)步驟2)得到的每幀C_k和通過步驟4)得到的對(duì)應(yīng)的每幀E_k逐像素進(jìn)行影像融合，獲得對(duì)應(yīng)的更新后的前景影像G_K組成的前景影像序列；

6)對(duì)步驟5)得到的前景影像序列的每幀前景影像G_k使用多幀影像LK光流法配準(zhǔn)，配準(zhǔn)后影像相鄰幀間做逐像素交集邏輯運(yùn)算，獲得該前景影像序列對(duì)應(yīng)的二值掩膜圖；

7)使用步驟6)獲得的二值掩膜圖對(duì)步驟5)得到的前景影像序列做矩陣乘法，得到衛(wèi)星影像序列中每幀影像最終的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果H_k，k＝1，2，3，...，M。