[發(fā)明專利]一種基于事件相機(jī)的高質(zhì)量高幀率圖像重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010433817.3
• 申請(qǐng)日: 2020-05-21
• 公開(kāi)（公告）號(hào): CN111667442B
• 公開(kāi)（公告）日: 2022-04-01
• 發(fā)明（設(shè)計(jì)）人: 余磊;王碧杉;何敬偉;楊文
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T5/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 許蓮英

1.一種基于事件相機(jī)的高質(zhì)量高幀率圖像重建方法，其特征在于，包括以下步驟：

步驟1，通過(guò)高速相機(jī)拍攝多組視頻，通過(guò)插幀算法在相鄰圖像之間增加m幀圖像，提高圖像的幀率為原來(lái)的m+1倍得到高幀率高分辨率清晰圖像，將高幀率高分辨率清晰圖像通過(guò)雙三次插值方法進(jìn)行下采樣得到高幀率低分辨率圖像，從高幀率低分辨率圖像序列生成一段事件流，對(duì)多幀連續(xù)的高幀率低分辨率圖像進(jìn)行求和平均處理得到低分辨率模糊圖像；

步驟2：根據(jù)事件流、低分辨率模糊圖像、高幀率高分辨率清晰圖像構(gòu)建事件增強(qiáng)圖像退化模型，依次對(duì)低分辨率模糊圖像，高幀率高分辨率清晰圖像進(jìn)行稀疏表示，得到稀疏事件增強(qiáng)圖像退化模型，通過(guò)構(gòu)建多層卷積神經(jīng)網(wǎng)絡(luò)求解該模型；

步驟3：通過(guò)對(duì)事件流進(jìn)行預(yù)處理實(shí)現(xiàn)低幀率低分辨率模糊圖像的曝光時(shí)間段的事件轉(zhuǎn)換為一個(gè)多通道的圖像形式，從而得到預(yù)處理后事件流；

步驟4：將高幀率高分辨率清晰圖像作為真實(shí)重建的標(biāo)記圖像，低幀率低分辨率模糊圖像和事件流預(yù)處理后得到的數(shù)據(jù)作為多層卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，結(jié)合真實(shí)重建的標(biāo)記圖像構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)模型，進(jìn)一步尋優(yōu)得到優(yōu)化后多層卷積神經(jīng)網(wǎng)絡(luò)；

步驟5，通過(guò)事件相機(jī)捕獲灰度圖像、灰度圖像事件流，對(duì)事件流通過(guò)步驟3進(jìn)行預(yù)處理得到預(yù)處理后事件流，將灰度圖像、預(yù)處理后事件流通過(guò)優(yōu)化后多層卷積神經(jīng)網(wǎng)絡(luò)，得到高分辨率清晰灰度圖像；

步驟1所述多組視頻為：

X[f]，f∈{1，2，...，L}

其中，X[f]表示一段視頻的第f幀高分辨率清晰圖像，L為每組視頻中圖像幀的數(shù)量；

步驟1所述高幀率高分辨率清晰圖像為：

H[z]，z∈{1，2，...，(m+1)×L-m}

其中，H[z]表示其中一段視頻的第z幀高幀率高分辨率清晰圖像，(m+1)×L-m為每組視頻中高幀率高分辨率清晰圖像幀的數(shù)量，X[f]與插幀后的H[(m+1)×f-m]表示同一幀圖像；

步驟1所述高幀率低分辨率圖像為：

I[z]，z∈{1，2，...，(m+1)×L-m}

其中，I[z]為一段視頻的第z幀高幀率低分辨率圖像，(m+1)×L-m為每組視頻中高幀率低分辨率圖像幀的數(shù)量；

步驟1所述從高幀率低分辨率圖像序列生成一段事件流為：

根據(jù)像素點(diǎn)(u，v)亮度對(duì)數(shù)值變化超過(guò)閾值c產(chǎn)生事件點(diǎn)的原理，即：

從時(shí)間t_ref經(jīng)過(guò)時(shí)間t后，高幀率低分辨率圖像I在坐標(biāo)(u，v)處的亮度的對(duì)數(shù)值變化量超過(guò)閾值c，則產(chǎn)生一個(gè)事件點(diǎn)(t_ref+t，u，v，p)，p為事件極性，當(dāng)亮度對(duì)數(shù)值是變大時(shí)為1，變小時(shí)為-1；

從高幀率低分辨率圖像序列I[z]生成一段事件流，該段事件流的時(shí)間間隔是從I[1]的時(shí)刻到I[(m+1)×L-m]的時(shí)刻，等于從X[1]的時(shí)刻t₁到X[L]的時(shí)刻t_L，用表示這段事件流的事件集和；

步驟1所述對(duì)多幀連續(xù)的高幀率低分辨率圖像進(jìn)行求和平均處理得到低分辨率模糊圖像為：

對(duì)k幀連續(xù)的高幀率低分辨率圖像I[z]進(jìn)行求和平均處理：

生成一段視頻的第f幀低分辨率模糊圖像Y[f]；

且k張圖像的首幀圖像時(shí)間t_(m+1)×f-m到尾幀圖像時(shí)間t_{(m+1)×f-m+k-1}為Y[f]的曝光時(shí)間段，后續(xù)與該Y[f] 聯(lián)合輸入的事件流數(shù)據(jù)為該曝光時(shí)間段的事件流

步驟2所述構(gòu)建事件增強(qiáng)圖像退化模型，具體為：

Y[f]＝EI[z]+ε

I[z]＝PX[f]

z∈{1，2，...，(m+1)×L-m}

f∈{1，2，...，L}

其中，I[z]為一段視頻的第z幀高幀率低分辨率圖像，(m+1)×L-m為每組視頻中高幀率低分辨率圖像幀的數(shù)量，Y[f]為一段視頻的第f幀低分辨率模糊圖像，L為每組視頻中圖像幀的數(shù)量，E為事件流累計(jì)積分的模糊算子，ε為噪聲，P為下采樣算子；

步驟2所述依次將低分辨率清晰圖像、高分辨率清晰圖像稀疏處理為：

低分辨率清晰圖像I[z]稀疏處理，即：

I[z]＝D_Iα_I

z∈{1，2，...，(m+1)×L-m}

其中，I[z]為一段視頻的第z幀高幀率低分辨率圖像，(m+1)×L-m為每組視頻中高幀率低分辨率圖像幀的數(shù)量，α_I為低分辨率字典稀疏編碼，D_I為低分辨率字典；

一段視頻的第f幀高分辨率清晰圖像X[f]稀疏處理，即：

X[f]＝D_Xα_X

f∈{1，2，...，L}

其中，α_X為高分辨率字典稀疏編碼，D_X為高分辨率字典，X[f]表示一段視頻的第f幀高分辨率清晰圖像，L為每組視頻中圖像幀的數(shù)量；

α＝α_I＝α_X

求解稀疏編碼的過(guò)程可歸結(jié)為L(zhǎng)ASSO問(wèn)題，即：

通過(guò)迭代收縮閾值算法求解所述LASSO問(wèn)題，在第n次迭代后，稀疏編碼更新為：

其中，L是Lipschitz常數(shù)，Γ_Θ(·)表示逐元素軟閾值函數(shù)，α_n為第n-1次迭代后稀疏編碼，E為事件流累計(jì)積分計(jì)算得到的模糊算子，D_I為低分辨率字典，Y[f]為一段視頻的第f幀低分辨率模糊帶噪圖像，λ表示正則化系數(shù)，作為下標(biāo)表示逐像素軟閾值函數(shù)的輸入?yún)?shù)；

在經(jīng)過(guò)足夠次數(shù)的迭代后，獲得稀疏編碼的最優(yōu)解α^*，通過(guò)高分辨率字典恢復(fù)出高分辨率清晰圖像：

X[f]＝D_Xα^*

整個(gè)過(guò)程中，稀疏編碼α、低分辨率字典D_I、高分辨率字典D_X為待優(yōu)化求解變量，進(jìn)一步通過(guò)多層卷積神經(jīng)網(wǎng)絡(luò)求解；

步驟3中所述對(duì)事件流的預(yù)處理方法具體如下所述：

對(duì)于一段視頻的第f幀低分辨率模糊圖像Y[f]，其對(duì)應(yīng)曝光時(shí)間間隔[t_f，t_f+T]的事件流，T為曝光時(shí)間長(zhǎng)度，t_f為求平均的連續(xù)k張圖像的首幀圖像HL[(m+1)×f-m]的時(shí)刻t_(m+1)×f-m，t_f+T為求平均的連續(xù)k張圖像的尾幀圖像HL[(m+1)×f-m+k-1]的時(shí)刻t_{(m+1)×f-m+k-1}；

對(duì)于曝光時(shí)間間隔的所有事件(t_w，u_w，v_w，p_w)，w＝1，2，3，...，num，num為曝光時(shí)間間隔內(nèi)所有事件的數(shù)量，其中t_w為曝光時(shí)間間隔內(nèi)第w個(gè)事件的時(shí)間戳，(u_w，v_w)為曝光時(shí)間間隔內(nèi)第w個(gè)事件的坐標(biāo)，p_w為曝光時(shí)間間隔內(nèi)第w個(gè)事件的極性；

假設(shè)需要重建的圖像時(shí)間為t_r，將曝光時(shí)間間隔的所有事件的時(shí)間戳t_w更新為與時(shí)間t_r的時(shí)間間隔，即t_w-t_r；

對(duì)時(shí)間戳t_w-t_r進(jìn)行歸一化，當(dāng)t_w-t_r＞0時(shí)，時(shí)間戳變?yōu)楫?dāng)t_w-t_r＜0時(shí)，時(shí)間戳變?yōu)?/p>

時(shí)間戳中加入事件的極性信息，若事件的極性p為1，則事件的時(shí)間戳不變，時(shí)間戳為或若事件的極性p為-1，則事件的時(shí)間戳變?yōu)槠湎喾磾?shù)，時(shí)間戳為或

定義一個(gè)大小為q×Width×Height的全零矩陣，其中Width為低分辨率灰度圖像Y[f]的寬，Height為低分辨率灰度圖像Y[f]的高，將處理后的時(shí)間戳寫入矩陣的(1，u_w，v_w)的位置處，若矩陣的(1，u_w，v_w)處已被寫入事件的時(shí)間戳，則處理后的時(shí)間戳寫入矩陣的(2，u_w，v_w)的位置處；

步驟4所述多層卷積神經(jīng)網(wǎng)絡(luò)為：

低分辨率模糊圖像的輸入層為模糊圖像卷積層，得到卷積后低分辨率模糊圖像，所述卷積層待尋優(yōu)參數(shù)變量為卷積核參數(shù)F0；

預(yù)處理后的事件流的輸入層為兩層依次級(jí)聯(lián)的事件流卷積激活器，每個(gè)卷積激活器由一個(gè)卷積層、一個(gè)激活層構(gòu)成，得到卷積后事件流，第一個(gè)事件流卷積激活器中卷積層待尋優(yōu)參數(shù)變量為卷積核參數(shù)F1，第二個(gè)事件流卷積激活器中卷積層待尋優(yōu)參數(shù)變量為卷積核參數(shù)F2；

上述卷積后低分辨率模糊圖像和卷積后事件流經(jīng)過(guò)點(diǎn)乘匯合，經(jīng)過(guò)匯合卷積層、匯合激活層，輸出至NUM個(gè)依次級(jí)聯(lián)的卷積器，所述匯合卷積層待尋優(yōu)參數(shù)變量為低分辨率字典的轉(zhuǎn)置D_I^T；

經(jīng)過(guò)NUM個(gè)依次級(jí)聯(lián)的卷積器得到稀疏編碼α，每個(gè)卷積器由依次級(jí)聯(lián)的第一卷積層、第二卷積層、激活層構(gòu)成，所述第一卷積層待尋優(yōu)參數(shù)變量為低分辨率字典的轉(zhuǎn)置D_I^T，所述第二卷積層待尋優(yōu)參數(shù)變量為低分辨率字典D_I，每個(gè)卷積器中所述第一卷積層待尋優(yōu)參數(shù)變量均相同，每個(gè)卷積器中所述第二卷積層待尋優(yōu)參數(shù)變量均相同；

進(jìn)一步經(jīng)過(guò)第一卷積shuffle器、第二卷積shuffle器級(jí)聯(lián)，每個(gè)卷積shuffle器由一個(gè)卷積層和一個(gè)shuffle層構(gòu)成，所述的第一卷積shuffle器中卷積層待尋優(yōu)參數(shù)變量、第二卷積shuffle器中卷積層待尋優(yōu)參數(shù)變量均為高分辨率字典D_X；

輸出層為輸出卷積層，所述卷積層待尋優(yōu)參數(shù)變量為卷積核參數(shù)F3；

步驟4所述結(jié)合真實(shí)重建的標(biāo)記圖像構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)模型為：

其中，X_result為卷積神經(jīng)網(wǎng)絡(luò)輸出的重建圖像結(jié)果，X[f]為對(duì)應(yīng)的真實(shí)重建標(biāo)記圖像，Po為重建圖像所有像素點(diǎn)坐標(biāo)位置的集和，np為重建圖像所有像素點(diǎn)的數(shù)量；

步驟4所述進(jìn)一步尋優(yōu)得到優(yōu)化后多層卷積神經(jīng)網(wǎng)絡(luò)為：

步驟4所述尋優(yōu)方法為：Adam優(yōu)化算法，通過(guò)計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)而為不同的參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)性學(xué)習(xí)率，基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)卷積層參數(shù)；

優(yōu)化后多層卷積神經(jīng)網(wǎng)絡(luò)為根據(jù)優(yōu)化后每層卷積層優(yōu)化參數(shù)構(gòu)建多層卷積神經(jīng)網(wǎng)絡(luò)。