[發(fā)明專利]圖像重建模型的訓(xùn)練方法、圖像重建方法及其裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110237930.9
• 申請(qǐng)日: 2021-03-04
• 公開（公告）號(hào): CN113076685A
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 陳帥軍;徐芳;賈旭;喬振東;杜澤偉;劉健莊
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06N3/04;G06N3/08;G06T1/20;G06T1/60
• 代理公司: 北京龍雙利達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11329
• 代理人: 周喬;王君

1.一種圖像重建模型的訓(xùn)練方法，其特征在于，包括：

獲取待訓(xùn)練模糊圖像和待訓(xùn)練事件數(shù)據(jù)，所述待訓(xùn)練模糊圖像是多幀第一高清圖像的平均值，所述待訓(xùn)練事件數(shù)據(jù)包括所述待訓(xùn)練模糊圖像對(duì)應(yīng)的時(shí)間段內(nèi)的事件點(diǎn)；

利用所述待訓(xùn)練模糊圖像和所述待訓(xùn)練事件數(shù)據(jù)對(duì)圖像重建模型進(jìn)行訓(xùn)練，得到目標(biāo)圖像重建模型，在訓(xùn)練過(guò)程中，根據(jù)約束條件更新所述圖像重建模型的參數(shù)以得到所述目標(biāo)圖像重建模型，所述約束條件包括使得所述待訓(xùn)練模糊圖像與再模糊圖像的差值最小，所述再模糊圖像是對(duì)多幀第二高清圖像進(jìn)行處理得到的，所述多幀第二高清圖像是利用所述圖像重建模型對(duì)所述待訓(xùn)練模糊圖像和所述待訓(xùn)練事件數(shù)據(jù)進(jìn)行處理得到的。

2.如權(quán)利要求1所述的方法，其特征在于，所述再模糊圖像是對(duì)所述多幀第二高清圖像取平均值得到的。

3.如權(quán)利要求1所述的方法，其特征在于，所述再模糊圖像是對(duì)光流估計(jì)結(jié)果和所述多幀第二高清圖像進(jìn)行處理得到的，所述光流估計(jì)結(jié)果是利用光流估計(jì)網(wǎng)絡(luò)對(duì)所述待訓(xùn)練模糊圖像和所述待訓(xùn)練事件數(shù)據(jù)進(jìn)行處理得到的，所述光流估計(jì)結(jié)果包括所述待訓(xùn)練模糊圖像的運(yùn)動(dòng)信息。

4.如權(quán)利要求3所述的方法，其特征在于，所述再模糊圖像是利用所述光流估計(jì)結(jié)果對(duì)所述多幀第二高清圖像的至少兩個(gè)相鄰幀之間插入插幀，再對(duì)所述插幀和所述多幀第二高清圖像進(jìn)行平均得到的。

5.如權(quán)利要求3或4所述的方法，其特征在于，所述約束條件還包括使得多幀光流估計(jì)圖像中第i幀光流估計(jì)圖像與所述多幀第二高清圖像中第i幀第二高清圖像的差值最小，所述多幀光流估計(jì)圖像是利用所述光流估計(jì)結(jié)果對(duì)所述多幀第二高清圖像進(jìn)行扭曲變換得到的，其中，所述多幀光流估計(jì)圖像中的第i幀光流估計(jì)圖像是對(duì)所述多幀第二高清圖像中的第i+1幀第二高清圖像進(jìn)行扭曲變換得到的，i為大于或等于0且小于所述多幀第一高清圖像的幀數(shù)的整數(shù)。

6.如權(quán)利要求5所述的方法，其特征在于，所述多幀光流估計(jì)圖像中第i幀光流估計(jì)圖像與所述多幀第二高清圖像中第i幀第二高清圖像的差值滿足下面的公式：

其中，L_warp為所述差值，τ表示所述多幀第一高清圖像的幀數(shù)，I_i(x)表示第i幀第二高清圖像，表示第i幀光流估計(jì)圖像。

7.如權(quán)利要求5或6所述的方法，其特征在于，所述約束條件還包括使得所述多幀光流估計(jì)圖像中的每幀光流估計(jì)圖像中相鄰像素之間的距離最小。

8.如權(quán)利要求1至7中任一項(xiàng)所述的方法，其特征在于，所述約束條件還包括使得所述多幀第二高清圖像與所述多幀第一高清圖像的差值最小。

9.一種圖像重建方法，其特征在于，包括：

獲取第一模糊圖像和第一事件數(shù)據(jù)，所述第一事件數(shù)據(jù)包括所述第一模糊圖像對(duì)應(yīng)的時(shí)間段內(nèi)的事件點(diǎn)；

將所述第一模糊圖像和所述第一事件數(shù)據(jù)輸入到目標(biāo)圖像重建模型，得到多幀目標(biāo)高清圖像，所述目標(biāo)圖像重建模型是利用權(quán)利要求1至8中任意一項(xiàng)所述的方法得到的；

輸出所述多幀目標(biāo)高清圖像中的一幀或多幀。

10.如權(quán)利要求9所述的方法，其特征在于，所述方法還包括：

對(duì)所述第一事件數(shù)據(jù)進(jìn)行分段，所述第一事件數(shù)據(jù)的段數(shù)與所述多幀目標(biāo)高清圖像的幀數(shù)對(duì)應(yīng)。