[發明專利]一種基于多尺度特征交互網絡的多聚焦圖像融合方法

有效

• 申請號: 202110997261.5
• 申請日: 2021-08-27
• 公開（公告）號: CN113705675B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 劉羽;王磊;成娟;李暢;宋仁成;陳勛
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于多尺度特征交互網絡的多聚焦圖像融合方法，其特征包括如下步驟：

步驟1、數據準備；

獲取任意一對分辨率為H×W×3且聚焦區域為互補的多聚焦圖像I_A和I_B；

獲取與多聚焦圖像I_A中聚焦區域對應的一幅分辨率為H×W的二值圖G₁，并進行N-1次區域插值下采樣，得到一組二值圖像集記為{G₁,G₂,…,G_n,…,G_N}，并作為網絡訓練的參考圖像，其中，G_n表示第n個尺度的參考圖像，N表示尺度數；

步驟2、構建由主干網絡、特征融合部分、上采樣部分以及多層監督部分組成的多尺度特征交互網絡模型，以預測多聚焦圖像中各像素的聚焦屬性，得到聚焦圖；

步驟2.1、所述主干網絡由N個尺度的卷積層級聯而成，N個卷積層分別記為{Stage_n|n＝1,…N}；當n＝1時，第1級卷積層Stage₁由1個卷積核大小為p的二維卷積層Conv和k-1個基本殘差塊級聯而成，當n＝2,...,N時，第n級卷積層Stage_n由k個基本殘差塊級聯而成，n＝2,...,N；

將N×k-1個基本殘差塊分別記為BasicBlock₁,…,BasicBlock_m,…BasicBlock_Nk-1；其中BasicBlock_m表示第m個基本殘差塊，m＝1,2,...,Nk-1；第m個基本殘差塊BasicBlock_m包括：兩個二維卷積層、兩個ReLU激活函數層；

將一對多聚焦圖像I_A和I_B的通道進行連接后，得到尺寸為H×W×6的源圖像，并輸入到所述主干網絡中，并經過所述二維卷積層Conv，輸出特征圖F_conv；

當m＝1時，將所述特征圖F_conv作為第m個基本殘差塊BasicBlock_m的輸入特征并輸入到所述第m個基本殘差塊BasicBlock_m中，經過兩個二維卷積層和兩個ReLU激活函數層后，獲得第m個中間特征圖F′_m，將第m個中間特征圖F′_m與第m個基本殘差塊BasicBlock_m的輸入特征相加，從而獲得第m個輸出特征圖BasicBlockresult_m；

當m＝2,...,Nk-1時，以第m-1個輸出特征圖BasicBlockresult_m-1作為所述第m個基本殘差塊BasicBlock_m的輸入特征；從而經過第m個基本殘差塊BasicBlock_m的兩個二維卷積層和兩個ReLU激活函數層后，獲得第m個中間特征F′_m，并將所述第m個中間特征圖F′_m與第m個基本殘差塊BasicBlock_m的輸入特征相加后，得到第m個輸出特征圖BasicBlockresult_m，并作為第n個尺度的卷積層Stage_n輸出的特征圖Feature_n，m＝nk-1，n＝1,…,N；

步驟2.2、所述特征融合部分由N個多尺度特征融合模塊組成，記為{MSFF_n|n＝1,…,N}，其中，N表示尺度數，MSFF_n表示第n個尺度的多尺度特征融合模塊；

當n＝1時，所述第n級尺度的多尺度特征融合模塊MSFF_n由第n個特征提取層FE_n、第n個上采樣層UP_n和第n個跨通道的軟注意力機制單元SABlock_n構成；

當n＝2,…N-1時，所述第n級尺度的多尺度特征融合模塊MSFF_n由第n個特征提取層FE_n、第n個上采樣層UP_n、第n-1個下采樣層DOWN_n-1和第n個跨通道的軟注意力機制單元SABlock_n構成；

當n＝N時，所述第n級尺度的多尺度特征融合模塊MSFF_n由第n個特征提取層FE_n、第n-1個下采樣層DOWN_n-1和第n個跨通道的軟注意力機制單元SABlock_n構成；

其中，所述第n個特征提取層FE_n由1個步長為1、卷積核大小為1的二維卷積層和1個步長為1、卷積核大小為3的二維卷積層級聯而成；

第n個上采樣層UP_n由一個步長為1、卷積核大小為1的二維卷積層和雙線性插值上采樣層級聯而成；

第n個下采樣層DOWN_n由一個步長為1、卷積核大小為1的二維卷積層和一個步長為2、卷積核大小為3的二維卷積層級聯而成；

所述第n個跨通道的軟注意力機制單元SABlock_n包括：全局平均池化層，卷積核大小為1的二維卷積層，PReLU激活函數層，X個并行的卷積核大小為1的二維卷積以及softmax函數層；其中，X表示多尺度特征融合模塊的支路數；

當n＝1時，將第n級尺度的特征圖Feature_n和第n+1級尺度的特征圖Feature_n+1共同作為所述第n級尺度的多尺度特征融合模塊MSFF_n的輸入特征，并經過所述第n個特征提取層FE_n后，得到特征圖F_n；第n+1級尺度的特征圖Feature_n+1經過第n個上采樣層UP_n，得到上采樣后的特征圖F_n+1；將所述第n個特征提取層FE_n輸出的特征圖F_n和第n個上采樣層UP_n輸出的特征圖F_n+1相加后，得到第n級尺度粗略融合的特征圖RF_n，并輸入到第n個尺度的跨通道的軟注意力機制單元SABlock_n中，得到所述特征圖F_n的權重向量W_n和特征圖F_n+1的權重向量W_n+1，再利用式(1)獲得第n個尺度的跨通道的軟注意力機制單元SABlock_n的輸出并作為第n級尺度的多尺度特征融合模塊MSFF_n的輸出特征圖MSFFresult_n；

MSFFresult_n＝W_n×F_n+W_n+1×F_n+1 (1)

當n＝2，…,N-1時，以第n-1級尺度的特征圖Feature_n-1、第n級尺度的特征圖Feature_n和第n+1級尺度的特征圖Feature_n+1共同作為所述第n級尺度的多尺度特征融合模塊MSFF_n的輸入特征；所述第n-1級尺度的特征圖Feature_n-1經過所述第n-1個下采樣層DOWN_n-1，得到下采樣后的特征圖F_n-1；所述第n級尺度的特征圖Feature_n經過所述第n個特征提取層FE_n，得到特征圖F_n；所述第n+1級尺度的特征圖Feature_n+1經過第n個上采樣層UP_n，得到上采樣后的特征圖F_n+1；將所述第n-1個下采樣層DOWN_n-1輸出的特征圖F_n-1、第n個特征提取層FE_n輸出的特征圖F_n和第n個上采樣層UP_n輸出的特征圖F_n+1相加后，得到第n級尺度粗略融合的特征圖RF_n，并輸入到第n個尺度的跨通道的軟注意力機制單元SABlock_n中，得到所述特征圖F_n-1的權重向量W_n-1、特征圖F_n的權重向量W_n和特征圖F_n+1的權重向量W_n+1，再利用式(2)獲得第n個尺度的跨通道的軟注意力機制單元SABlock_n的輸出并作為第n級尺度的多尺度特征融合模塊MSFF_n的輸出特征圖MSFFresult_n；

MSFFresult_n＝W_n-1×F_n-1+W_n×F_n+W_n+1×F_n+1 (2)

當n＝N時，以第n-1級尺度的特征圖Feature_n-1和第n級尺度的特征圖Feature_n共同作為所述第n級尺度的多尺度特征融合模塊MSFF_n的輸入特征；所述第n-1級尺度的特征圖Feature_n-1經過所述第n-1個下采樣層DOWN_n-1后，得到下采樣后的特征圖F_n-1；所述第n級尺度的特征圖Feature_n經過所述第n個特征提取層FE_n后，得到特征圖F_n；將所述第n-1個下采樣層DOWN_n-1輸出的特征圖F_n-1和第n個特征提取層FE_n輸出的特征圖F_n相加后，得到第n級尺度粗略融合的特征圖RF_n，并輸入到第n個尺度的跨通道的軟注意力機制單元SABlock_n，得到所述特征圖F_n-1的權重向量W_n-1和所述特征圖F_n的權重向量W_n，再利用式(3)獲得第n個尺度的跨通道的軟注意力機制單元SABlock_n的輸出并作為第n級尺度的多尺度特征融合模塊MSFF_n的輸出特征圖MSFFresult_n；

MSFFresult_n＝W_n-1×F_n-1+W_n×F_n (3)

步驟2.3、所述上采樣部分由N-1個坐標注意力上采樣模塊組成，記為{CAU_n|n＝1,…,N-1}，其中，N表示尺度數，CAU_n表示第n級尺度的坐標注意力上采樣模塊；第n級尺度的坐標注意力上采樣模塊CAU_n由第n個上采樣層Upsample_n和第n個坐標注意力機制單元CABlock_n組成；

所述第n個上采樣層Upsample_n由一個步長為1、卷積核大小為1的二維卷積層和雙線性插值上采樣層級聯而成；

所述坐標注意力機制CABlock_i由水平方向和垂直方向的2個平均池化層、一個卷積核大小為1的二維卷積層、一個批歸一化層、一個非線性激活函數、兩個并行的步長為1、卷積核大小為1的二維卷積層以及兩個并行的Sigmoid激活函數層構成；

當n＝N-1時，以第n+1級尺度的多尺度特征融合模塊的輸出特征圖MSFFresult_n+1和第n級尺度的多尺度特征融合模塊的輸出特征圖MSFFresult_n共同作為所述第n級尺度的坐標注意力上采樣模塊CAU_n的輸入特征；所述第n+1級尺度的多尺度特征融合模塊的輸出特征圖MSFFresult_n+1經過所述第n個上采樣層Upsample_n后，得到上采樣的特征圖UF_n；將所述上采樣的特征圖UF_n和所述第n級尺度的多尺度特征融合模塊的輸出特征圖MSFFresult_n進行通道連接后，得到連接后的特征圖Concat_n，并輸入到所述第n個坐標注意力機制單元CABlock_n中，得到所述第n級尺度的多尺度特征融合模塊的輸出特征圖MSFFresult_n在水平方向的權重圖h_n和垂直方向的權重圖w_n；再利用式(4)獲得第n個坐標注意力機制單元CABlock_n的輸出并作為第n級尺度的坐標注意力上采樣模塊CAU_n的輸出特征圖CAUresult_n；

CAUresult_n＝UF_n+MSFFresult_n×h_n×w_n (4)

當n＝1,…,N-2時，以第n+1級尺度的坐標注意力上采樣模塊CAU_n+1的輸出特征圖CAUresult_n+1和第n級尺度的多尺度特征融合模塊的輸出特征圖MSFFresult_n共同作為所述第n級尺度的坐標注意力上采樣模塊CAU_n的輸入特征，所述第n+1個尺度的坐標注意力上采樣模塊的輸出特征圖CAUresult_n+1經過所述第n個上采樣層Upsample_n后，得到上采樣的特征圖UF_n；將所述上采樣的特征圖UF_n和所述第n級尺度的多尺度特征融合模塊的輸出特征圖MSFFresult_n進行通道連接后，得到連接后的特征圖Concat_n，并輸入到所述第n個坐標注意力機制單元CABlock_n中，得到所述第n級尺度的多尺度特征融合模塊的輸出MSFFresult_n在水平方向的權重圖h_n和垂直方向的權重圖w_n；再利用式(4)獲得第n個坐標注意力機制單元CABlock_n的輸出并作為第n級尺度的坐標注意力上采樣模塊CAU_n的輸出特征圖CAUresult_n；

步驟2.4、所述多層監督部分為N個并行的預測層，記為{Pre_n|n＝1,…,N}，其中，N表示尺度數，Pre_n表示第n級尺度的預測層；其中，所述第n級尺度的預測層Pre_n由一個步長為1,、卷積核大小為3的二維卷積層以及一個Sigmoid激活函數層構成；

當n＝1,…,N-1時，以第n級尺度的坐標注意力上采樣模塊CAU_n的輸出特征圖CAUresult_n作為所述第n級尺度的預測層Pre_n的輸入特征，并經過所述第n個預測層Pre_n后，得到預測的第n個尺度的聚焦圖MLSresult_n；

當n＝N時，以第n級尺度的多尺度特征融合模塊的輸出特征圖MSFFresult_n作為所述第n級尺度的預測層Pre_n的輸入特征，并經過所述第n個預測層Pre_n后，得到預測的第n個尺度的聚焦圖MLSresult_n；

將預測的N個尺度的聚焦圖MLSresult₁,MLSresult₂,…,MLSresult_N作為所述多層監督部分的輸出，并將第1個尺度的聚焦圖MLSresult₁作為所述多尺度特征交互網絡的輸出；

步驟2.5、利用式(5)建立損失函數L并作為多尺度特征交互網絡模型的優化目標：

式(5)中，為第n個尺度的加權二值交叉熵損失，并由式(6)得到；

式(6)中，H×W為聚焦圖的尺寸；γ是一個常數；是第n個尺度下分配給像素(h,w)的權重，并由式(7)得到；BCE(·,·)是二值交叉熵函數；是多層監督部分預測的聚焦圖MLSresult_n在位置(h,w)的像素值；是第n個尺度的參考圖像G_n在位置(h,w)的像素值；

式(7)中，A_h,w為像素(h,w)周圍的鄰域；(m,n)為A_h,w中的像素；

步驟3、訓練網絡，得到預測表示像素聚焦屬性的聚焦圖的最優模型；

步驟3.1、按照步驟1的過程得到R對多聚焦圖像及其對應的R組參考圖像集；

步驟3.2、定義當前循環次數為t，并初始化t＝0；定義最大迭代次數為E為預設的超分辨網絡訓練的最大輪數；Z為每次抽取的組數；

步驟3.3、網絡訓練；

從R對多聚焦圖像中第t次隨機抽取出X對多聚焦圖像輸入所述多尺度特征交互網絡中進行訓練，并獲得第t次訓練輸出的聚焦圖表示第t次訓練輸出的第z組聚焦圖中的第n個尺度的聚焦圖，z＝1,2,…,Z；

從R對參考圖像中第t次對應取出Z個圖像，并進行縮放后得到N個尺度的參考圖像并作為優化目標來計算損失函數L，使得損失函數L在訓練過程中逐漸下降，當t＞T時，訓練停止，并得到最優模型；其中，表示第t次取出的第x組聚焦圖中的第n個尺度的參考圖像；

步驟3.4、聚焦圖后處理；

步驟3.4.1、利用式(8)將最優模型輸出的聚焦圖進行二值化，得到二值化的初始決策圖T；

式(8)中，(x,y)表示像素位置；θ表示所設定的閾值；

步驟3.4.2、采用全連接條件隨機場算法對初始決策圖T進行細化，得到最終決策圖D；

步驟4、對最終決策圖D取反，得到互補掩膜D′；從而利用式(9)將最終決策圖D及其互補掩膜D′分別與多聚焦圖像I_A和I_B進行像素加權求和，并得到融合圖像I_F；

I_F(x,y)＝D(x,y)×I_A(x,y)+(D′(x,y))×I_B(x,y) (9)

式(9)中，I_F(x,y)表示融合圖像I_F在(x,y)位置的像素值。