[發明專利]一種自適應曝光驅動相機攝影水下圖像處理系統

有效

• 申請號: 202210487677.7
• 申請日: 2022-05-06
• 公開（公告）號: CN114900619B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 鄧岳;章修惠;顧祚亞;李洪玨
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N23/70
• 分類號: H04N23/70;H04N23/95;G06N3/084;G06N3/045;G06N3/048;G06N3/0442
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

1.一種自適應曝光驅動相機攝影水下圖像處理系統，其特征在于，包括：可編程相機和計算處理設備；

所述計算處理設備包括：自適應曝光模塊和預訓練水下圖像復原模塊；

其中，所述可編程相機，用于獲得水下場景的目標圖像，并傳輸給自適應曝光模塊和預訓練水下圖像復原模塊；還用于接收調參指令，更新拍攝參數；

所述自適應曝光模塊對所述目標圖像的拍攝質量進行動態感知，產生實時調整所述可編程相機設備的拍攝參數的指令，并傳輸給所述可編程相機；所述自適應曝光模塊采用動作-價值框架，由動作網絡和價值網絡構成的深度網絡；將可編程相機上一幀輸出的圖像編碼后作為輸入，經過動作網絡處理，輸出對相機拍攝參數的調整動作，完成對可編程相機拍攝參數的動態調整；具體包括：第一多層感知機模塊、第一循環神經網絡模塊和激活函數模塊；通過第一多層感知機模塊對接收到的圖像以及包含歷史圖像和相機動作的軌跡信息進行處理，通過第一循環神經網絡模塊考慮其時間軸上歷史圖像和相機動作的影響，并將處理后的信息輸送給第一多層感知機模塊提取相關信息，最終經過激活函數激活后形成生成策略的動作網絡；所述價值網絡用于輔助動作網絡的訓練，包括：第二多層感知機模塊和第二循環神經網絡模塊；通過第二多層感知機模塊對接收到的圖像以及包含歷史圖像和相機動作的軌跡信息進行處理，通過第二循環神經網絡模塊考慮其時間軸上歷史圖像和相機動作的影響，并將處理后的信息輸送給第二多層感知機模塊提取相關信息，最終輸出關于當前狀態的價值評價；

所述預訓練水下圖像復原模塊，在訓練階段對所述目標圖像進行評價，給予獎勵到所述自適應曝光模塊；在應用階段，對需要處理的目標圖像進行優化，輸出經過顏色矯正與特征增強的水下圖像；采用雙層優化框架；其中，上層網絡估計圖像中不同區域間損失的權重，下層網絡利用多個特征融合注意力網絡表示并提取特征，最終輸出經過顏色校正和特征增強的圖像。

2.根據權利要求1所述的一種自適應曝光驅動相機攝影水下圖像處理系統，其特征在于，所述可編程相機包括：拍攝模塊與通信模塊；

所述拍攝模塊利用圖像傳感器捕捉外界圖像，將圖像通過通信模塊傳輸給自適應曝光模塊和預訓練水下圖像復原模塊；并接收來自自適應曝光模塊的指令，改變拍攝參數；所述拍攝參數包括：感光度、快門速度和光圈。

3.根據權利要求1所述的一種自適應曝光驅動相機攝影水下圖像處理系統，其特征在于，所述動作網絡的參數更新流程如下：

步驟一：從經驗回放池中采樣一條訓練軌跡S，所述訓練軌跡S包括：歷史時刻拍攝到的圖像和對應的相機動作；所述相機動作為對應的拍攝參數；

步驟二：將所述訓練軌跡S作為樣本信息輸入更新前的動作網絡，得到可編程相機執行動作的概率分布，選定執行動作a；

步驟三：利用動作a和價值網絡輸出的價值函數Q(s,a)對動作網絡求梯度反向傳播更新動作網絡參數π_θ；

上式中，s表示上一時刻的獲取的圖像，表示對于動作網絡的參數θ求梯度，o表示自適應曝光模塊接收到的信息，π_θ即表示自適應曝光模塊的動作網絡，根據輸入的信息o輸出有關動作的概率分布。

4.根據權利要求1所述的一種自適應曝光驅動相機攝影水下圖像處理系統，其特征在于，在訓練時，所述價值網絡參數更新流程如下：

步驟一：從經驗回放池中采樣一條軌跡S，獲得轉變前狀態獲取的圖像s、轉變后狀態獲取的圖像s'以及環境給予的獎勵r；

步驟二：將轉變前狀態獲取的圖像s、轉變后狀態獲取的圖像s'輸入價值網絡，得到價值函數Q(s,a)和Q(s,a')；

步驟三：接收來自環境的獎勵r，計算損失函數l_c＝r+γQ(s',a')-Q(s,a)，更新價值網絡的參數；其中γ為折扣因子。

5.根據權利要求1所述的一種自適應曝光驅動相機攝影水下圖像處理系統，其特征在于，所述預訓練水下圖像復原模塊，利用現有數據集進行預訓練，并根據輸出圖像的得分對自適應曝光模塊給予獎勵；

其網絡參數更新如下：

步驟一：編碼后的圖像在上層網絡被送入全連接層，獲取權重分配矩陣；

步驟二：編碼后的圖像在下層網絡被送入特征融合注意力模塊群，獲得處理后的圖像；

步驟三：利用處理后的圖像與真值圖像求解L1損失；

步驟四：利用上層網絡的權重分配矩陣對損失加權，并更新參數。