[發明專利]面向圖像恢復的多尺度神經網絡結構搜索方法及網絡應用

有效

• 申請號: 202011269424.X
• 申請日: 2020-11-13
• 公開（公告）號: CN112381733B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 彭璽;緱元彪;李伯運
• 申請（專利權）人: 四川大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08;G06N3/04
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 楊浩林

本發明公開了一種面向圖像恢復的多尺度神經網絡結構搜索方法及網絡應用，面向圖像恢復的多尺度神經網絡結構搜索方法包括確定多尺度神經網絡中細胞的數量S及每個細胞的列數，細胞中的每列僅有并行模塊或融合模塊；在多尺度的搜索空間上，構建一個待搜索的超網絡，所述超網絡包括依次連接兩個并行模塊、S對由過渡模塊和細胞串聯后的組合模塊、1個融合模塊和1個卷積層；基于梯度優化的搜索策略，確定超網絡中每個細胞每列最終選擇的模塊，得到多尺度神經網絡。

技術領域

本發明涉及神經網絡結構方法，具體涉及一種面向圖像恢復的多尺度神經網絡結構搜索方法及網絡應用。

背景技術

由于環境的復雜性和采集設備的質量，數字圖像經常會因各種噪聲污染而發生退化，而圖像恢復旨在從退化的圖像中恢復出干凈、清晰的圖像，目前圖像恢復普遍采用神經網絡實現。

目前的神經網絡普遍采用網絡結構搜索(Neural Architecture Search)實現，網絡結構搜索是一種自動化結構工程，旨在通過使用進化算法、強化學習、梯度優化等搜索策略，從搜索空間中自動發現理想的神經網絡結構，到目前為止，典型的面向圖像恢復的網絡結構搜索技術有E-CAE和HiNAS。

E-CAE采用進化算法通過編碼網絡結構為對應的基因型，初始化網絡結構種群并進行迭代的交叉、變異和選擇，進而在標準的卷積自編碼器架構上搜索卷積層的卷積核數量和大小，以及是否使用跳躍連接。HiNAS采用基于梯度優化的方法和分層的策略，以細胞為搜索單位，通過對結構表示的連續性松弛和多候選路徑策略構建待搜索的超網絡，進而同時對細胞內部結構和外部卷積核數量進行搜索。

盡管基于E-CAE和HiNAS的網絡結構搜索技術取得了優異的性能，但它們往往面臨著結構組合爆炸的問題，需要使用大量的計算資源來獲得這個結果。例如，E-CAE在TeslaP100 GPU上需要運算384GPU hours，其中，GPU hours表示單塊GPU需要運算的小時數。

為了緩解E-CAE存在的問題，最近的焦點已經轉移到基于梯度的方法上，例如，HiNAS在Tesla V100 GPU上仍需要運算16.5GPU hours。此外，現有的大多數網絡結構搜索技術最初都是為分類任務而設計的，并沒有考慮到圖像恢復任務的特性。

發明內容

針對現有技術中的上述不足，本發明提供的面向圖像恢復的多尺度神經網絡結構搜索方法及網絡應用解決了現有網絡結構搜索方法沒有考慮圖像恢復任務的問題。

為了達到上述發明目的，本發明采用的技術方案為：

第一方面，提供一種面向圖像恢復的多尺度神經網絡結構搜索方法，其包括：

S1、確定多尺度神經網絡中細胞的數量S及每個細胞的列數，細胞中的每列僅有并行模塊或融合模塊；

S2、在多尺度的搜索空間上，構建一個待搜索的超網絡，所述超網絡包括依次連接的兩個并行模塊、S對由過渡模塊和細胞串聯后的組合模塊、1個融合模塊和1個卷積層；

S3、基于梯度優化的搜索策略，確定超網絡中每個細胞每列最終選擇的模塊，得到多尺度神經網絡；搜索每個細胞的每列最終選擇的模塊的方法包括：

S31、初始化當前迭代次數q＝1，初始化迭代次數e、結構更新閾值t、超網絡權重參數θ和超網絡結構參數{a^p，a^f}；

S32、獲取由退化圖像和對應干凈圖像對組成的數據集，將數據集劃分為訓練集和驗證集，其中退化圖像和對應干凈圖像分別作為網絡輸入和目標輸出；

S33、判斷當前迭代次數q是否大于結構更新閾值t，若是則進入步驟S34，否則進入步驟S35；