[發明專利]一種基于卷積神經網絡的圖像夜景處理方法及運行該方法的計算模塊與可讀存儲介質

有效

• 申請號: 202011049682.7
• 申請日: 2020-09-29
• 公開（公告）號: CN112150363B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 冷聰;李成華;朱宇;程健
• 申請（專利權）人: 中科方寸知微（南京）科技有限公司;中科南京人工智能創新研究院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/80;G06V10/774;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 張磊

1.一種基于卷積神經網絡的圖像夜景處理方法，其特征是包括以下步驟：

步驟1、采集多組RAW格式數據樣本；

步驟2、設計超級夜景網絡模型；

步驟2-1、建立SNN超級夜景網絡模型，包括至少一個Encoder網絡和至少一個Decoder網絡，每個網絡都包括多層；Encoder網絡存在多次降采樣，在每一層中有至少兩個3x3卷積，每個卷積后連接一個激活函數和SwitchableNormalization層，最后加上一個2x2?max_pooling運算，即步長為2用于下采樣；整個Encoder網絡重復三次；

Decoder網絡中的每個步驟都包括對特征圖進行上采樣，將特征通道數量減半的3x3卷積，與來自Encoder網絡的相應的特征圖的串聯拼接，接著將拼接后的特征圖通過兩個3x3卷積，每個卷積后跟一個激活函數和SwitchableNormalization層；在最后一層使用一個3*3卷積層，再通過pixel_shuffle，最終輸出處理后的圖像；

步驟2-2、提出Residual?Dense?block，將其置于skip-connection上，ResidualDenseblock由3個Denseblock構成，每個Denseblock內部有5層卷積，每層卷積后面連接一個激活函數和SwitchableNormalization層，同時每一層都接受來自前面所有卷積層的輸出特征圖；

步驟3、對步驟2中的超級夜景網絡模型進行訓練；

步驟4、輸出結果。

2.根據權利要求1所述的一種基于卷積神經網絡的圖像夜景處理方法，其特征在于，所述步驟1進一步為：

步驟1-1、通過預定的多個不同型號的圖像采集設備拍攝不同場景得出多張RAW格式數據樣本，將同一場景中不同型號的圖像采集設備采集得到的RAW格式數據樣本作為一組母樣本，所述母樣本中根據圖像采集設備的型號區分為不同子樣本，對每份樣本進行標記；

步驟1-2、完成數據樣本采集后，對圖像進行對齊操作，去除二者不重疊的部分；

步驟1-3、在經過步驟1-2的圖像對齊操作后，將數據樣本進一步劃分為訓練集、驗證集以及測試集。

3.根據權利要求2所述的一種基于卷積神經網絡的圖像夜景處理方法，其特征在于，所述步驟1-2中對圖像進行對齊操作進一步包括匹配圖像的關鍵點，并在此基礎上反復迭代多次隨機子集；

其中匹配圖像的關鍵點進一步如下：

步驟1-2a、搜索預定尺度空間上的所有圖像位置，通過卷積運算提取出包括角點、邊緣點、暗區域的亮點以及亮區域的暗點在內的關鍵點；其中尺度空間?的計算方法如下：

；

式中，表示關鍵點的中點坐標，表示高斯核函數，為尺度空間因子，取定值；

其中，高斯核函數表示如下：

；

式中各符號含義同上；

步驟1-2b、采集關鍵點的梯度模值：

；

步驟1-2c、采集關鍵點的方向分布：

；

式中，各符號含義同上；

步驟1-2d、計算關鍵點k的領域點：

；

式中，表示關鍵點的方位，其余各符號含義同上。