[發(fā)明專利]一種基于近似乘法的神經(jīng)網(wǎng)絡(luò)混合近似及誤差補償方法

在審

• 申請?zhí)枺?/td>: 202210715089.4
• 申請日: 2022-06-23
• 公開（公告）號: CN115099405A
• 公開（公告）日: 2022-09-23
• 發(fā)明（設(shè)計）人: 陳珂;梁思圓;劉偉強
• 申請（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F7/523
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 徐燕

1.一種基于近似乘法的神經(jīng)網(wǎng)絡(luò)混合近似及誤差補償方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)混合近似及誤差補償方法包括以下步驟：

S1，對導(dǎo)入的神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)進行分析，獲取其所包含的所有卷積層和全連接層；結(jié)合該神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)所加載的硬件加速器的性能參數(shù)，調(diào)用由若干個近似乘法器組成近似乘法器數(shù)據(jù)庫，作為對應(yīng)的搜索空間，搜索空間內(nèi)的近似乘法器數(shù)量與卷積核大小相適配；

S2，將搜索空間內(nèi)的所有已知近似乘法器的二進制真值表加入神經(jīng)網(wǎng)絡(luò)模型的推理路徑，根據(jù)神經(jīng)網(wǎng)絡(luò)模型對應(yīng)的應(yīng)用場景的實際需求，對神經(jīng)網(wǎng)絡(luò)模型中的卷積層和全連接層采用的精確乘法進行混合近似：其中，神經(jīng)網(wǎng)絡(luò)模型的推理路徑是指神經(jīng)網(wǎng)絡(luò)參數(shù)的前向傳輸和運算；

當(dāng)應(yīng)用場景以節(jié)約更多硬件資源為目標(biāo)，采用逐層混合近似；具體地，對預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型按層劃分，逐層從近似乘法器數(shù)據(jù)庫中選擇對應(yīng)的近似乘法器，每層使用近似乘法器之前的權(quán)重分布D和使用選擇的近似乘法器之后的等效權(quán)重分布D^*之間的相關(guān)系數(shù)ρ大于預(yù)設(shè)的相關(guān)系數(shù)閾值，進行逐層混合近似；

當(dāng)應(yīng)用場景以獲得更高網(wǎng)絡(luò)精度為目標(biāo)，采用逐權(quán)重混合近似；具體地，對預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型按權(quán)重劃分，為每個權(quán)重從近似乘法器數(shù)據(jù)庫中選擇方差關(guān)聯(lián)品質(zhì)因子最小的近似乘法器，進行逐權(quán)重混合近似；

S3，將神經(jīng)網(wǎng)絡(luò)模型加載至相應(yīng)的硬件加速器，在神經(jīng)網(wǎng)絡(luò)模型運作過程中，采用篩選出的近似乘法器對神經(jīng)網(wǎng)絡(luò)模型的卷積層和全連接層中的所有精確乘法進行運算；其中，對混合近似后的神經(jīng)網(wǎng)絡(luò)模型進行誤差補償，誤差補償過程包括：

以近似乘法器的錯誤距離均方根最小為約束，在神經(jīng)網(wǎng)絡(luò)推理階段對權(quán)值進行微調(diào)并更新；錯誤距離均方根RMS_ED的計算公式為：

式中，M為一個N-bit近似乘法器，a_p和b_q為近似乘法器的兩個輸入操作數(shù)，p＝0,1,2,…,2^N-1，q＝0,1,2,…,2^N-1。

2.根據(jù)權(quán)利要求1所述的基于近似乘法的神經(jīng)網(wǎng)絡(luò)混合近似及誤差補償方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)混合近似及誤差補償方法還包括以下步驟：

將待評估的二進制真值表加入神經(jīng)網(wǎng)絡(luò)模型的推理路徑，計算混合近似和誤差補償后的神經(jīng)網(wǎng)絡(luò)的實際精度損失，根據(jù)計算得到的實際精度損失對待評估的二進制真值表進行評估。

3.根據(jù)權(quán)利要求1所述的基于近似乘法的神經(jīng)網(wǎng)絡(luò)混合近似及誤差補償方法，其特征在于，步驟S2中，逐層混合近似的過程包括以下子步驟：

S21，對預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型按層劃分，得到層集合L＝{L₁,L₂,…,L_i,…,L_m}；獲取預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型的權(quán)重分布D＝{D₁,D₂,…,D_i,…,D_m}；統(tǒng)計得到近似乘法器數(shù)據(jù)庫M＝{M₁,M₂,…,M_j,…,M_n}；

S22，選擇近似乘法器數(shù)據(jù)庫中的其中一個近似乘法器M_j，將其分別布局至神經(jīng)網(wǎng)絡(luò)模型中的每一層中，計算得到該近似乘法器M_j對應(yīng)的神經(jīng)網(wǎng)絡(luò)模型的等效權(quán)重分布

S23，重復(fù)步驟S22，直至計算得到所有近似乘法器對應(yīng)的神經(jīng)網(wǎng)絡(luò)模型的等效權(quán)重分布；

S24，選擇層L_i，計算得到使用近似乘法器M_j之前的權(quán)重分布和使用近似乘法器M_j之后的等效權(quán)重分布之間的相關(guān)系數(shù)ρ_ij；

S25，篩選得到相關(guān)系數(shù)ρ_ij大于相關(guān)系數(shù)閾值α的近似乘法器，作為層L_i對應(yīng)的備選近似乘法器；

S26，重復(fù)步驟S24-S25，直至完成所有層的近似乘法器篩選。