[發明專利]一種基于融合多種圖像生成技術的加權平均圖像生成方法

在審

• 申請號: 202110864793.1
• 申請日: 2021-07-29
• 公開（公告）號: CN113674185A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 張福正;李琨;李仕林;趙李強;董厚奇
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 昆明金科智誠知識產權代理事務所(普通合伙) 53216
• 代理人: 楊釗霞

1.一種基于融合多種圖像生成技術的加權平均圖像生成方法，其特征在于：所述加權平均圖像生成方法的具體步驟如下：

Step1、收集電力系統內部巡維人員傳回的巡視圖像，挑選其中目標明顯且目標占圖像四分之三的所述巡視圖像作為樣本圖像，多個所述樣本圖像構建為輸電線路的圖像訓練數據集，用于后期網絡的訓練和優化使用；

Step2、搭建生成式對抗網絡(GAN)的模型，定義卷積層的層數，卷積核的尺寸和數目，采用的損失函數和優化器，將所述圖像訓練數據集內的其中一個所述樣本圖像輸入，輸出picture1；

Step3、選擇基于深度特征提取的圖像超分辨率重建(SRCNN)的網絡模型，定義卷積層的層數，卷積核的尺寸和數目，采用的損失函數和優化器，將步驟Step2中的所述樣本圖像輸入，輸出picture2；

Step4、將步驟Step2中的所述樣本圖像進行灰度插值(Gray)的圖像重建，輸出picture3；

Step5、采用變分自編碼器(VAE)來生成圖像，定義編碼器模型和解碼器模型，定義重構誤差函數和KL散度誤差函數，依次作為最終的損失函數，定義各層的層數，卷積核的尺寸和數目，采用的損失函數和優化器，將步驟Step2中的所述樣本圖像輸入所述變分自編碼器，輸出picture4；

Step6、基于以上步驟的完成，生成的重疊的高分辨率圖像塊可以通過加權平均來產生最終的生成的完整圖，定義一個卷積層作為濾波器，輸入picture1、picture2、picture3和picture4，輸出最終的高分辨率圖像。

2.根據權利要求1所述的一種基于融合多種圖像生成技術的加權平均圖像生成方法，其特征在于：步驟Step1中所述圖像訓練數據集中的所述樣本圖像選用清晰且具有明顯特征的圖像，對所述樣本圖像進行預處理并用標注軟件對樣本圖像進行標注。

3.根據權利要求1所述的一種基于融合多種圖像生成技術的加權平均圖像生成方法，其特征在于：步驟Step2、Step3、Step4和Step5可同時輸入同一個所述樣本圖像。

4.根據權利要求1所述的一種基于融合多種圖像生成技術的加權平均圖像生成方法，其特征在于：步驟Step3中所述灰度插值的圖像重建選用雙三次插值方法。

5.根據權利要求1所述的一種基于融合多種圖像生成技術的加權平均圖像生成方法，其特征在于：步驟Step2、Step3、Step4和Step5四種方法生成圖像質量的優先級：

picture1picture2picture4picture3

于是，四種方法的權重分配公式如下：

λ₁(GAN)+λ₂(VAE)+λ₃(SRCNN)+λ₄(Gray)＝1

其中四個方法的具體權重比λ，根據具體圖像的特征來調整。

6.根據權利要求1所述的一種基于融合多種圖像生成技術的加權平均圖像生成方法，其特征在于：步驟Step6所述濾波器的尺寸采用5×5，卷積核數目為1，從圖像質量的常用評價指標PSNR(峰值信噪比)和SSIM(結構相似度)，以及深度學習網絡的運行效率等方面綜合考慮，采用三層的網絡結構來實現以上的GAN、VAE、SRCNN等算法,平均操作層的具體形式如下：

F(X)＝W3*F2(X)+B3

式中F2為前一層的輸出，W3為一個大小為5×5×1的線性濾波器，B3為對應的偏置量，kernel_num＝1表示最終輸出所述高分辨率圖像的數量為一張。