[發明專利]一種基于蟻群優化算法和層間信息的結構化模型剪枝方法

在審

• 申請號: 202011581936.X
• 申請日: 2020-12-28
• 公開（公告）號: CN112651499A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 胡浩基;孫騰許
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N3/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

1.一種基于蟻群優化算法和層間信息的結構化模型剪枝方法，其特征在于，具體步驟如下：

(1)對于一個深度為L的卷積神經網絡，設其第l層共有N_l個卷積核。記l層第i個卷積核為F_i^l。每一個卷積核均是一個的三維張量，其中K_l為卷積核尺寸。將每一個卷積核都看作是一個節點，任意兩個節點都通過邊進行連接。其中邊可以表示兩個節點(卷積核)之間的關系；每一個節點的重要性程度即節點得分記為信息素蟻群算法開始時，信息素初始化為相同的值；通過計數器記錄當前時刻節點的被選擇次數，每個迭代的開始被初始化為0，完成一輪迭代后，每個節點可根據計數器對信息素進行更新；然后定義一個節點的變量：絕對值相對大小η_m(F_i^l)，具體如下：

式中，z-score為零-均值歸一化操作，||F_i^l||₁表示l層第i個卷積核的L₁范數；

(2)通過狀態轉移規則進行蟻群優化算法中的路徑選擇，對于蟻群優化算法中的貪心規則，假設當前螞蟻k處于節點F_i^l，在考慮從剩下的節點中選擇與當前節點綜合相似度最低且最有代表性的節點為下一時刻的位置時遵循以下方式：

其中是螞蟻k截止到第i個節點未訪問過的所有節點的集合。j代表最終被選中并作為下一個位置的節點的索引。α、β、γ是用于平衡η_r、η_m、η_s所占權重的超參數，η_r為第i個節點與其余節點的平均相關性，η_s為兩個節點之間的cosine相似性。式中q₀(0≤q₀≤1))是預設的常數閾值，表示在此概率下采用貪心規則。q為當前狀態轉移規則采用貪心規則的概率值，為隨機生成值，取值范圍是[0,1]，若q≤q₀，則采用貪心規則。

在1-q₀概率下，即隨機生成值q＞q₀時，狀態轉移規則采用以下改進的基于概率的方法：

其中代表螞蟻k截止到第i個節點未訪問過的所有節點的集合中，取索引為j的節點作為下一個節點的概率。對于每一個未被訪問的節點，將其設置為同樣的采樣概率，從而每一個節點都將有一定的概率被采樣得到，避免陷入局部最優。

(3)信息素更新規則。對于每一個迭代，初始時有N_ant只螞蟻分別在不同的節點。每一只螞蟻按照步驟(2)中所定義狀態轉移規則進行節點子集的選擇并選擇出一定數量的節點作為其所認為的解集。每只螞蟻最終所選子集中節點個數與神經網絡模型當前層的剪枝率P相關，設置為N_l(1-P)。在每只螞蟻進行尋找子集的過程中，計數器將對應記錄下每個節點被選擇的次數。最終當所有的螞蟻完成自己的行為后，根據下式對每個節點進行信息素的更新：

式中ρ為信息素衰減因子，和分別表示當前時刻以及下一時刻節點F_i^l的信息素得分。初始時刻，初始化為0.5，初始化為0。

(4)重復步驟(2)和步驟(3)進行多輪次的迭代直至蟻群優化算法收斂，記蟻群優化算法總迭代次數為I。最終節點所對應的信息素得分即可作為對應卷積核的重要性得分。

(5)基于相鄰層的得分方法對單層內得分進行補充調整。F_i^l所提取特征圖信息在l+1層所得重要性得分計算方法如下：

表示l+1層第j個卷積核的第z個通道的L₁范數，表示l+1層第j個卷積核的L₁范數，以二者的商表示第z個通道所占第j個卷積核的重要性比例，乘以第j個卷積核的蟻群優化得分則表征第z個通道的蟻群優化得分。l層第i個卷積核F_i^l所輸出特征圖在l+1層中與每個卷積核的第i個通道做卷積，因此計算F_i^l在l+1層得分時，z的取值值為i，即z＝i。對l+1層所有的卷積核進行同樣的操作并進行加和即可視為是l層第i個卷積核F_i^l在l+1層的重要性得分用此得分對F_i^l的單層得分進行修正，計算方式如下：

其中是指F_i^l的得分進行修正后的得分。作為F_i^l的最終得分。并以此作為卷積核剪枝的標準。

剪枝時，根據對當前層的卷積核進行排序。以排名為N_l(1-P)的卷積核所對應得分為閾值，將得分低于閾值的卷積核進行剪枝。