[發明專利]基于深度卷積神經網絡的層內非均勻的K平均聚類定點量化方法

在審

• 申請號: 201710033021.7
• 申請日: 2017-01-12
• 公開（公告）號: CN106897734A
• 公開（公告）日: 2017-06-27
• 發明（設計）人: 王中風;孫方軒;林軍
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/063;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于深度卷積神經網絡的層內非均勻的K平均聚類定點量化方法，其特征在于，包括以下步驟：

步驟一，選取部分深度卷積神經網絡的能夠正確識別的圖像，并提取識別過程中產生的特征映射；

步驟二，對卷積神經網絡中的特征映射進行層間非規則量化，在保持模型精度情況下，確定每一層卷積網絡的最大量化位數；

步驟三，對于模型中的每一卷積層，利用K平均聚類算法(K Means Clustering)確定滿足特征映射分布的定點值，并使定點值的范圍在最大量化位數能表示的范圍內，用定點值代表特征映射中的值，并以索引的形式進行保存；

步驟四，利用神經網絡模型微調方法(Fine Tuning Method)對模型進行微調，消除量化帶來的誤差。

2.所述步驟一包括以下步驟：

步驟(11)，對已有深度卷積神經網絡模型進行前向測試，并選取其中能夠正確識別的圖像；

步驟(12)，提取選取圖像在計算過程中產生的特征映射；

所述步驟二包括以下步驟：

步驟(21)，在滿足精度的前提下，對深度卷積神經網絡所有卷積層進行統一量化位數的規則量化。

步驟(22)，在不大于規則量化所確定的量化位數的前提下，通過層間非規則量化確定每一層卷積神經網絡所滿足的最大量化位數。

3.所述步驟三包括以下步驟：

步驟(31)，確定最大能容忍的精度損失；

步驟(32)，將0和每層卷積層的最大量化位數能達到的最大值分別設為定點值的區間的起點和終點；

步驟(33)，利用K平均聚類方法對提取的特征映射進行聚類，將定點值設為將聚類中心點，并確保定點值的數量小于最大量化位數可以表示的數量；

步驟(34)，將選取的定點值用對應的索引值來表示；

步驟(35)，按向下取值的原則，將特征映射中的所有值分別替換為離其最近并小于自己的定點值并保證在小于能同人的最大精度損失的情況下盡可能減小定點值的數量；

步驟(36)，存儲時采用定點值對應的索引進行存儲。

4.所述步驟四包括以下步驟：

步驟(41)，在滿足定點約束的條件下，對模型進行再訓練，消除誤差。