[發明專利]一種圖像轉換方法、裝置、設備及存儲介質

有效

• 申請號: 202110249798.3
• 申請日: 2021-03-08
• 公開（公告）號: CN112967178B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳凱;王建生;王水根;康萌萌
• 申請（專利權）人: 煙臺艾睿光電科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/0464;G06N3/084;G06N3/088;G06N3/0475;G06N3/045
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 巴翠昆

1.一種圖像轉換方法，其特征在于，包括：

采集紅外圖像與可見光圖像，并制作訓練集；

構建SFP-CycleGAN網絡；所述SFP-CycleGAN網絡包含兩個生成器與兩個判別器；所述生成器包括CSPdark模塊；所述CSPdark模塊包括1×1卷積分流模塊和密連接模塊；所述CSPdark模塊的梯度分流是通過所述1×1卷積分流模塊的兩路1×1卷積分流得到兩個特征圖，其中一個特征圖經過所述密連接模塊后，與另一個特征圖在通道上進行拼接并輸出；所述密連接模塊包括多個密連接層；每個所述密連接層中的卷積層為深度可分離卷積層；

建立感知損失與同一映射損失，調整所述SFP-CycleGAN網絡的超參數，包括：在循環一致損失函數的基礎上，添加感知損失和同一映射損失，構成循環一致約束項；通過所述同一映射損失約束所述生成器對生成的可見光圖像或紅外圖像的改動；通過所述感知損失增強所述SFP-CycleGAN網絡的細節特征；

采用無監督訓練方式依據所述訓練集訓練所述SFP-CycleGAN網絡，導出訓練好的網絡模型；

將待轉換圖像輸入至訓練好的所述網絡模型中進行紅外域與可見光域之間的圖像轉換。

2.根據權利要求1所述的圖像轉換方法，其特征在于，所述生成器包括用于將紅外圖像轉化為可見光圖像的第一生成器和用于將可見光圖像轉化為紅外圖像的第二生成器；

所述判別器包括用于對所述第一生成器生成的可見光圖像進行判別的第一判別器和用于對所述第二生成器生成的紅外圖像進行判別的第二判別器。

3.根據權利要求2所述的圖像轉換方法，其特征在于，采集紅外圖像與可見光圖像，具體包括：

通過安裝在車載設備上的雙目攝像頭獲取不同場景下對應的紅外視頻與可見光視頻；

對紅外視頻與可見光視頻進行分幀和批量裁剪處理，得到每個場景下對應的紅外圖像與可見光圖像；

對每個場景下對應的紅外圖像與可見光圖像進行抽幀處理，將抽取出的紅外圖像與可見光圖像分別整合至不同文件夾中。

4.根據權利要求3所述的圖像轉換方法，其特征在于，在循環一致損失函數的基礎上，添加感知損失，具體包括：

在所述循環一致損失函數處加入預訓練好的Vgg19網絡；

將真實的可見光圖像，與由生成的紅外圖像進行重構得到的可見光圖像送入Vgg19網絡；

在所述Vgg19網絡中，通過抽取不同層的激活層，并進行加權計算得到感知損失。

5.根據權利要求1所述的圖像轉換方法，其特征在于，在所述密連接模塊中，去除池化層，每個所述密連接層采用密連接的方式進行連接。

6.根據權利要求5所述的圖像轉換方法，其特征在于，在任一密連接層中，輸入的特征圖經過一次深度可分離卷積、批正則化和非線性激活函數后，送入與該密連接層連接的下一個密連接層中。