[發明專利]卷積神經網絡的并行優化方法

有效

• 申請號: 201810021291.0
• 申請日: 2018-01-10
• 公開（公告）號: CN110163333B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 黃家豪;王鐵軍;朱旭輝;魏敏;陳海寧;楊昊;趙長名;吳濤;黃敏;吳錫
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 成都智涌知識產權代理事務所(普通合伙) 51313
• 代理人: 周正輝

1.一種卷積神經網絡的并行優化方法，其特征在于，包括以下步驟：

對輸入的數據進行數據預處理；

判斷進行卷積神經網絡的卷積核運算的濾波器的大小，將大于(3x3)的濾波器轉化為小型濾波器；

將每個卷積核的數據進行分塊；

逐層進行卷積運算，其中，分塊進行并行化卷積運算，然后處理重復部分，進行分塊整合；

反饋更改濾波器；

映射到下一層，直至多層卷積計算完成；

其中，用winograd算法F(2x2,3x3)進行卷積神經網絡的卷積核運算，以降低時間復雜度并減少乘法運算次數；對不存在循環數據依賴的for循環結構部分，使用OpenMP開辟多個線程進行運算；對模式相同的數據運算部分進行向量化處理，使其能夠實現一次指令多次運算；向量化處理包括：對于F(MxM,RxR)框架代碼中SIMD部分，將相鄰計算矩陣B^T，G和A^T中同樣位置的數據進行組合成一個向量，向量大小和組合個數根據向量寄存器和基本數據單位決定，其計算方法為：N＝E/g，其中N為向量中包含數據個數，E為向量寄存器大小，g為單個數據大小；

用winograd算法F(2x2,3x3)進行卷積神經網絡的卷積核運算的公式為：

Y＝A^T[(GgG^T)⊙(B^TdB)]A

由winogard算法的原理推出其矩陣數據：

g＝[g₀ g₁ g₂]^T

d＝[d₀ d₁ d₂ d₃]^T。

2.如權利要求1所述的卷積神經網絡的并行優化方法，其特征在于，將數據順序裝入向量寄存器中，使數據連續，以便后續的向量化計算。