[發明專利]一種基于進化計算的神經網絡架構搜索方法和系統

有效

• 申請號: 202110120132.8
• 申請日: 2021-01-28
• 公開（公告）號: CN112784949B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 高明柯;杜欣軍;趙卓;逄濤;冒睿瑞;張浩博;郭威;王熠;劉曉娟;于楠
• 申請（專利權）人: 華東計算技術研究所（中國電子科技集團公司第三十二研究所）
• 主分類號: G06N3/006
• 分類號: G06N3/006;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種基于進化計算的神經網絡架構搜索方法，其特征在于，包括：

步驟S1：根據目標需求和平臺要求，通過目標函數設置目標要求，目標要求包括：期望的準確度、推理時延、搜索空間大小和進化次數；

步驟S2：根據設置的搜索空間大小，基于子網絡模塊集合隨機生成N個無向有環圖，作為進化尋優的網絡搜索空間；

步驟S3：在啟發式信息引導下，結合信息素動態揮發和概率路徑選擇機制，通過蟻群算法在隨機生成的N個無向有環圖中搜索N條有向無環圖尋優路徑，構成候選集；

步驟S4：通過訓練和測試獲取候選集中N條尋優路徑的準確率和推理時延，選取最優結果作為當前最優網絡結構；

步驟S5：評估當前網絡架構是否達到目標要求，當當前網絡架構沒有達到預設目標要求，當滿足速度和精度要求時，則暫停尋優結果，基于當前最優網絡架構的所有子網絡模塊內部結構實時演化突變，繼續迭代直至達到預設目標要求；當滿足預設目標要求時，則輸出當前最優網絡結果，否則退出搜索過程，輸出搜索異常；

所述基于進化計算的神經網絡架構搜索方法應用于目標檢索、自然語言處理、圖像識別、語音識別技術領域；

所述步驟S1包括：

所述目標函數公式如下：

s.t.LAT(Net)≤TACC(Net)≥A

其中，目標函數定義為一個多目標搜索；Net表示通過進化算法得到的網絡；ACC(Net)表示網絡的準確率；LAT(Net)表示網絡的推理時延；T表示期望的推理時延；A表示期望的準確率；所述期望的準確率根據預設的目標需求設定；所述期望的推理時延根據移動、嵌入式或通用平臺類型設定；

所述步驟S2包括：

所述子網絡模塊是無向有環圖中的結點；子網絡模塊包括多種類型且具有M個層的子網絡，子網絡類型可根據目標需求和平臺要求擴展子網絡模塊的類型并進行選擇；

子網絡的結構包括：多卷積層、ResNet塊、深度可分離卷積、具有線性瓶頸的倒殘差結構和基于壓縮-激發結構的輕量級注意力結構；

所述網絡搜索空間包括：所述網絡搜索空間包括N個搜索子空間；

其中，表示第i代子網絡模塊集合，表示第i代中第j個子網絡模塊，表示第i代搜索空間的邊集合，子網絡模塊之間通過邊連接；表示第i代中第j個子網絡模塊和第k個子網絡模塊之間的邊；表示第i代第n個搜索空間；i表示迭代序號；

所述步驟S3包括：

步驟S3.1：在每一個搜索子空間中任選一點作為起點，選取距離起點最遠的結點為終點，初始化螞蟻數量、信息素強度常數和循環次數；

步驟S3.2：啟發信息計算；

其中，η_I,J(t)表示t時刻從結點I到結點J的啟發信息；Dep_I,J、Wig_I,J、Con_I,J、Fil_I,J分別表示結點J的深度、寬度、連接度和濾波器數量，ω表示激勵因子，0≤ω≤1；獎勵機制定義為激勵當前最優的網絡架構中所有結點；ω值越小，啟發式信息η越大，初始網絡搜索空間中由于未產生進化，則ω初始值設置為1；

步驟S3.3：概率路徑選擇；

其中，表示第t時刻螞蟻m由點I移動到點J的概率；allowed_m表示螞蟻下一步可以選擇的節點；α表示信息素啟發因子，表示路徑上殘留的信息素在尋優過程中的作用，值越大則說明螞蟻之間的協作能力越強，傾向于選擇其它螞蟻經過的路徑；β表示期望值啟發因子，表明準確性和推理時延在螞蟻選擇路徑時的受重視程度，值越大，狀態轉移規律越接近貪心規則；τ_I,J(t)表示t時刻點I到點J路徑上的信息素；τ_I,S(t)表示點I到allowed_m中任一點路徑上的信息素；表示I到allowed_m中任一點路徑上的啟發信息；

步驟S3.4：信息素動態揮發；

其中，ρ_I,J(t)表示t時刻在I到J路徑上的揮發系數；η_I,J(t)表示t時刻I到J路徑上的啟發信息；表示所有的啟發信息，L表示當前網絡下的結點總數；

步驟S3.5：信息素增量計算；

其中，Q為信息素強度常量，是螞蟻在一個循環中在所經過的路徑上釋放的信息素的總量；η_m表示第m只螞蟻在此次循環中所受到的啟發信息總量；

步驟S3.6：信息素更新；

τ_I,J(t+1)＝(1-ρ)τ_I,J(t)+Δτ_I,J(t,t+1)

其中，ρ是信息素動態揮發系數；表示第m只螞蟻在本次循環中在路徑(I,J)上留下的信息素增量，Δτ_I,J(t,t+1)表示本次循環當中所有經過路徑(I,J)的螞蟻留下的信息素增量；K表示在本次循環中所有經過路徑(I,J)的螞蟻總數；

步驟S3.7：尋優結束判斷：當所有搜索子空間的尋優均達到最大循環次數則退出循環，輸出所有搜索子空間尋優結果作為當代候選集；否則重復執行步驟S3.2至步驟S3.7，直至達到最大循環次數；

所述步驟S5中演化突變包括：將當前最優網絡架構中所有子網絡模塊中的激勵因子ω設置為常數，且0≤ω≤1；同時在突變集合中隨機選取變異操作，進化子網絡模塊內部結構，生成下一代子網絡模塊，重復執行步驟S2至步驟S5，直至達到預設目標要求。

2.一種基于進化計算的神經網絡架構搜索系統，其特征在于，包括：

模塊M1：根據目標需求和平臺要求，通過目標函數設置目標要求，目標要求包括：期望的準確度、推理時延、搜索空間大小和進化次數；

模塊M2：根據設置的搜索空間大小，基于子網絡模塊集合隨機生成N個無向有環圖，作為進化尋優的網絡搜索空間；

模塊M3：在啟發式信息引導下，結合信息素動態揮發和概率路徑選擇機制，通過蟻群算法在隨機生成的N個無向有環圖中搜索N條有向無環圖尋優路徑，構成候選集；

模塊M4：通過訓練和測試獲取候選集中N條尋優路徑的準確率和推理時延，選取最優結果作為當前最優網絡結構；

模塊M5：評估當前網絡架構是否達到目標要求，當當前網絡架構沒有達到預設目標要求，當滿足速度和精度要求時，則暫停尋優結果，基于當前最優網絡架構的所有子網絡模塊內部結構實時演化突變，繼續迭代直至達到預設目標要求；當滿足預設目標要求時，則輸出當前最優網絡結果，否則退出搜索過程，輸出搜索異常；

所述基于進化計算的神經網絡架構搜索系統應用于目標檢索、自然語言處理、圖像識別、語音識別技術領域；

所述模塊M1包括：

所述目標函數公式如下：

s.t.LAT(Net)≤TACC(Net)≥A

其中，目標函數定義為一個多目標搜索；Net表示通過進化算法得到的網絡；ACC(Net)表示網絡的準確率；LAT(Net)表示網絡的推理時延；T表示期望的推理時延；A表示期望的準確率；所述期望的準確率根據預設的目標需求設定；所述期望的推理時延根據移動、嵌入式或通用平臺類型設定；

所述模塊M2包括：

所述子網絡模塊是無向有環圖中的結點；子網絡模塊包括多種類型且具有M個層的子網絡，子網絡類型可根據目標需求和平臺要求擴展子網絡模塊的類型并進行選擇；

子網絡的結構包括：多卷積層、ResNet塊、深度可分離卷積、具有線性瓶頸的倒殘差結構和基于壓縮-激發結構的輕量級注意力結構；

所述網絡搜索空間包括：所述網絡搜索空間包括N個搜索子空間；

其中，表示第i代子網絡模塊集合，表示第i代中第j個子網絡模塊，表示第i代搜索空間的邊集合，子網絡模塊之間通過邊連接；表示第i代中第j個子網絡模塊和第k個子網絡模塊之間的邊；表示第i代第n個搜索空間；i表示迭代序號；

所述模塊M3包括：

模塊M3.1：在每一個搜索子空間中任選一點作為起點，選取距離起點最遠的結點為終點，初始化螞蟻數量、信息素強度常數和循環次數；

模塊M3.2：啟發信息計算；

其中，η_I,J(t)表示t時刻從結點I到結點J的啟發信息；Dep_I,J、Wig_I,J、Con_I,J、Fil_I,J分別表示結點J的深度、寬度、連接度和濾波器數量，ω表示激勵因子，0≤ω≤1；獎勵機制定義為激勵當前最優的網絡架構中所有結點；ω值越小，啟發式信息η越大，初始網絡搜索空間中由于未產生進化，則ω初始值設置為1；

模塊M3.3：概率路徑選擇；

其中，表示第t時刻螞蟻m由點I移動到點J的概率；allowed_m表示螞蟻下一步可以選擇的節點；α表示信息素啟發因子，表示路徑上殘留的信息素在尋優過程中的作用，值越大則說明螞蟻之間的協作能力越強，傾向于選擇其它螞蟻經過的路徑；β表示期望值啟發因子，表明準確性和推理時延在螞蟻選擇路徑時的受重視程度，值越大，狀態轉移規律越接近貪心規則；τ_I,J(t)表示t時刻點I到點J路徑上的信息素；τ_I,S(t)表示點I到allowed_m中任一點路徑上的信息素；表示I到allowed_m中任一點路徑上的啟發信息；

模塊M3.4：信息素動態揮發；

其中，ρ_I,J(t)表示t時刻在I到J路徑上的揮發系數；η_I,J(t)表示t時刻I到J路徑上的啟發信息；表示所有的啟發信息，L表示當前網絡下的結點總數；

模塊M3.5：信息素增量計算；

其中，Q為信息素強度常量，是螞蟻在一個循環中在所經過的路徑上釋放的信息素的總量；η_m表示第m只螞蟻在此次循環中所受到的啟發信息總量；

模塊M3.6：信息素更新；

τ_I,J(t+1)＝(1-ρ)τ_I,J(t)+Δτ_I,J(t,t+1)

其中，ρ是信息素動態揮發系數；表示第m只螞蟻在本次循環中在路徑(I,J)上留下的信息素增量，Δτ_I,J(t,t+1)表示本次循環當中所有經過路徑(I,J)的螞蟻留下的信息素增量；K表示在本次循環中所有經過路徑(I,J)的螞蟻總數；

模塊M3.7：尋優結束判斷：當所有搜索子空間的尋優均達到最大循環次數則退出循環，輸出所有搜索子空間尋優結果作為當代候選集；否則重復觸發模塊M3.2至模塊M3.7執行，直至達到最大循環次數；

所述模塊M5中演化突變包括：將當前最優網絡架構中所有子網絡模塊中的激勵因子ω設置為常數，且0≤ω≤1；同時在突變集合中隨機選取變異操作，進化子網絡模塊內部結構，生成下一代子網絡模塊，重復觸發模塊M2至模塊M5執行，直至達到預設目標要求。