[發(fā)明專利]基于頻率分解與重啟機制的圖像超分辨率重建方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202310811098.8
• 申請日: 2023-07-04
• 公開（公告）號: CN116523759B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計）人: 左一帆;堯文浩;胡瑜祺;方玉明;鄢杰斌;劉揚
• 申請（專利權(quán)）人: 江西財經(jīng)大學;盛景智能科技（嘉興）有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/77;G06V10/80;G06V10/774;G06V10/776;G06V10/82;G06N3/045;G06N3/0464;G06N3/0499;G06N3/082
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 黃攀

1.一種基于頻率分解與重啟機制的圖像超分辨率重建方法，其特征是，所述方法包括如下步驟：

步驟1、提取低分辨率圖像的淺層特征；

步驟2、將淺層特征動態(tài)的分解為不同的頻率分量，將所有頻率分量分別利用同一尺度內(nèi)的自注意力和不同尺度間的交互進行更新和再分配，得到新的不同頻率分量，將新的不同頻率分量進行融合，得到融合后的特征；

步驟3、以所得融合后的特征作為輸入數(shù)據(jù)輸入步驟2中進行循環(huán)操作，將每次操作步驟2所得融合后的特征進行拼接，得到最終融合特征；

步驟4、將最終融合特征進行圖像重建，得到最終的圖像殘差，將低分辨率圖進行上采樣以得到高分辨率圖，將最終的圖像殘差與高分辨率圖進行疊加以得到超分辨率重建的圖像；

在執(zhí)行上述步驟1至步驟4中，對應(yīng)的訓練方法包括如下訓練步驟：

給定作為訓練數(shù)據(jù)的低分辨率圖像和高分辨率原始圖像；

以訓練數(shù)據(jù)作為輸入數(shù)據(jù)重復(fù)步驟1至步驟4，以得到超分辨率重建的圖像；

計算超分辨率重建的圖像與深度高分辨率原始圖像之間的殘差，根據(jù)殘差設(shè)計得到對應(yīng)的損失函數(shù)，通過不斷迭代優(yōu)化模型的可學習參數(shù)計算得到最小損失，損失函數(shù)表達式為：

；

其中，為訓練圖像的數(shù)量，表示低分辨圖像對應(yīng)的雙三次插值上采樣形成的高分辨率圖，表示高分辨率原始圖像，表示高分辨率圖和高分辨率原始圖像之間的殘差；

可學習參數(shù)存在如下關(guān)系式：

；

其中，表示可學習參數(shù)，為給定的低分辨率圖像，表示可學習參數(shù)與圖像之間構(gòu)建的模型關(guān)系；

步驟2中，將所有頻率分量分別利用同一尺度內(nèi)的自注意力和不同尺度間的交互進行更新和再分配，得到新的不同頻率分量，將新的不同頻率分量進行融合，得到融合后的特征的方法具體包括：

計算低頻特征的自注意力，將低頻特征上采樣到與高頻特征同一尺度，再與計算自注意力后的高頻特征進行交互再分配，交互分配完成后進行前饋計算，獲得新的高頻特征；

將高頻特征下采樣到與低頻特征同一尺度，計算下采樣后的高頻特征和低頻特征的自注意力，將計算自注意力后的高頻特征與計算自注意力后的低頻特征進行交互再分配，交互分配完成后進行前饋計算，獲得新的低頻特征；

計算新的高頻特征和低頻特征的自注意力，將新的低頻特征進行上采樣，計算上采樣后新的低頻特征與新的高頻特征的殘差，將殘差經(jīng)過前饋計算以得到融合后的特征。

2.根據(jù)權(quán)利要求1所述的基于頻率分解與重啟機制的圖像超分辨率重建方法，其特征是，在步驟2中，將淺層特征動態(tài)的分解為不同的頻率分量的方法具體為：

所有頻率分量特征包括低頻特征和高頻特征，根據(jù)通道比分解為高頻特征和低頻特征；

其中，表示一批次傳入模型的圖像的數(shù)量，表示一批次傳入模型的圖像的高度，表示一批次傳入模型的圖像的寬度，分別代表一批次傳入模型的特征通道數(shù)量。

3.根據(jù)權(quán)利要求2所述的基于頻率分解與重啟機制的圖像超分辨率重建方法，其特征是，淺層特征分解為高頻特征與低頻特征所對應(yīng)的生成表達式為：

；

其中，表示淺層特征，表示高頻特征，表示低頻特征，表示中間的高頻特征，表示中間的低頻特征，表示計算多頭自注意力操作，表示層歸一化處理操作，表示下采樣操作，表示處理高頻特征的前饋計算操作，表示處理低頻特征的前饋計算操作。

4.根據(jù)權(quán)利要求3所述的基于頻率分解與重啟機制的圖像超分辨率重建方法，其特征是，新的不同頻率分量包括新的高頻特征和新的低頻特征，新的高頻特征存在如下關(guān)系式：

；

其中，表示上采樣操作，表示輸入的高頻特征，表示輸入的低頻特征；

新的低頻特征存在如下關(guān)系式：

。

5.根據(jù)權(quán)利要求4所述的基于頻率分解與重啟機制的圖像超分辨率重建方法，其特征是，步驟2中，融合后的特征存在如下關(guān)系式：

；

其中，表示初步融合后的特征，表示輸出的融合特征，表示前饋計算操作。