[發(fā)明專利]基于生成對抗網(wǎng)絡的光場圖像超分辨率模型及其訓練方法

在審

• 申請?zhí)枺?/td>: 202310651633.8
• 申請日: 2023-06-02
• 公開（公告）號: CN116523757A
• 公開（公告）日: 2023-08-01
• 發(fā)明（設計）人: 梁志清;謝茹蕓;李豐旭;龍雨馨;張泓宇;張懷元;伊騰達;張鴻波;劉子驥;鄭興
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/045;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 成都東唐智宏專利代理事務所(普通合伙) 51261
• 代理人: 羅言剛

1.基于生成對抗網(wǎng)絡的光場圖像超分辨率模型，其特征在于,包括生成網(wǎng)絡和判別網(wǎng)絡,所述生成網(wǎng)絡包括初始特征提取模塊、特征聚合模塊和上采樣模塊；

所述初始特征提取模塊包括順序連接的1個三維卷積層和多個加深卷積層，所述加深卷積層包括1個三維卷積層和1個激活層；

所述特征聚合模塊由空間特征聚合模塊和角度特征聚合模塊構成；

所述空間特征聚合模塊包括卷積部分和Transformer部分，卷積部分包括卷積層和激活層，Transformer部分包括順序排列的第一多層感知層、第一歸一化層、第一多頭自注意機制、第二歸一化層和第二多層感知層，所述第一多頭自注意機制的輸出端與第一多層感知層的輸出端進行跳躍連接，第二多層感知層的輸出端和第二歸一化層的輸入端進行跳躍連接；

所述角度特征聚合模塊包括卷積部分和Transformer部分，卷積部分包括卷積層和激活層，Transformer部分包括順序排列的第三歸一化層、第二多頭自注意機制，第四歸一化層和第三多層感知層，所述第一多頭自注意機制的輸出端與第三歸一化層的輸入端進行跳躍連接，第三多層感知層的輸出端和第四歸一化層的輸入端進行跳躍連接；

所述上采樣模塊包括順序連接的第一卷積層、亞像素卷積層、激活層和第二卷積層；

所述判別網(wǎng)絡的作用為判別所述生成網(wǎng)絡的生成圖像與真實圖像之間的差別。

2.如權利要求1所述超分辨率模型，其特征在于，所述判別網(wǎng)絡使用視覺Transformer領域網(wǎng)絡架構構造，包括順序連接的分塊模塊、通道變換模塊、STB模塊、塊融合模塊和STB模塊，所述STB模塊包括依次連接的第五歸一化層、第三多頭自注意層、第六歸一化層和第四多層感知層。

3.如權利要求1所述超分辨率模型，其特征在于，所述特征聚合模塊有多個并順序連接在初始特征提取模塊和上采樣模塊之間。

4.基于生成對抗網(wǎng)絡的光場圖像超分辨率模型訓練方法，其特征在于，包括如下步驟：

步驟1：準備開源光場訓練數(shù)據(jù)集；

步驟2：對訓練數(shù)據(jù)集進行預處理操作；

步驟3：預處理后的訓練數(shù)據(jù)進入初始特征提取模塊進行初始特征提??；得到提取后的初始特征；

步驟4.進行空間特征聚合，這一步驟分為兩部分：Transformer部分和卷積部分，Transformer部分具體為：

步驟41.將提取后的初始特征做展開和邊界填充；

步驟42.展開填充后的數(shù)據(jù)送入第一多層感知層中，實現(xiàn)局部特征聚合后重構為空間特征序列；

步驟43.對空間特征序列執(zhí)行二維位置編碼，得到空間位置編碼P_S并將其添加到空間特征序列中；

步驟44.求取空間特征序列的多頭注意結果

T′_Spa＝MHSA(Q_S，K_S，V_S)+T_Spa

則空間多頭輸出結果

且查詢值空間矩陣Q_s,索引值空間矩陣K_s和內容值空間矩陣V_s按照下式計算

Q_S＝K_S＝LN(T_Spa+P_S)

V_S＝T_Spa

其中T_Spa表示空間特征序列，MLP表示多層感知操作，LN表示歸一化操作，MHSA表示多頭自注意機制；

將空間Transformer模塊輸出結果重構為與輸入的數(shù)據(jù)大小相同的數(shù)據(jù)進入下一步驟；

步驟45.空間特征聚合的卷積部分：將步驟3得到的提取后的初始特征做卷積，繼續(xù)提取特征；

步驟46.將空間特征聚合的Transformer部分結果和步驟45得到的卷積部分結果相加，繼續(xù)進行下一步驟；

步驟5.進行角度特征聚合，這一步驟分為兩部分：Transformer部分和卷積部分，Transformer部分具體為：

步驟51.將步驟46輸出的數(shù)據(jù)按照角度維度展開成角度特征序列T_Ang；

步驟52.對角度特征序列執(zhí)行二維位置編碼，得到角位置編碼P_A并將其添加到角度特征序列T_Ang中；

步驟53.求取角度特征序列的多頭注意結果

T′_Ang＝MHSA(Q_A，K_A，V_A)+T_Ang

查詢值角度矩陣Q_A、索引值角度矩陣K_A、內容值角度矩陣V_A按照下式計算

Q_A＝K_A＝LN(T_Ang+P_A)，V_A＝T_Ang

T′_Ang為角度特征序列的多頭注意結果，為角度Transformer模塊輸出結果，MLP表示多層感知操作，LN表示歸一化操作，MHSA表示多頭自注意機制；

步驟54.角度特征聚合的卷積部分：將步驟46的結果做卷積處理，繼續(xù)提取特征；

步驟55.將角度特征聚合的Transformer部分結果和步驟54的卷積處理結果相加，繼續(xù)進行下一步驟；

最后將卷積處理結果與角度多頭輸出結果相加，進入下一個步驟；

步驟6.進行上采樣，得到圖像輸出結果；

步驟7.通過比較圖像輸出結果與步驟2中對應的預處理后的訓練數(shù)據(jù)，對基于生成對抗網(wǎng)絡的光場圖像超分辨率模型中的生成網(wǎng)絡和判別網(wǎng)絡進行訓練。