[發明專利]一種基于DONNA的提取最優神經網絡的方法

在審

• 申請號: 202110301563.4
• 申請日: 2021-03-22
• 公開（公告）號: CN113033802A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 潘曉光;宋曉晨;韓鋒;馬彩霞;姚珊珊
• 申請（專利權）人: 山西三友和智慧信息技術股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/063
• 代理公司: 太原榮信德知識產權代理事務所(特殊普通合伙) 14119
• 代理人: 楊凱;連慧敏

1.一種基于DONNA的提取最優神經網絡的方法，其特征在于：包括下列步驟：

S100、數據采集：采集模型所需的數據，對其類別進行標注，完成模型所需的數據集構建；

S200、數據預處理：將數據歸一化，并分為三個階段，過程如下：

第一階段：構建一個與部署場景無關的精確預測器；

第二階段：快速場景感知改進搜索階段為任何特定場景找到最優網絡架構；

第三階段：預測的帕累托最優體系結構快速精確地完成部署；

S300、驗證模型：在ImageNet分類中評估DONNA架構的搜索性能。

2.根據權利要求1所述的一種基于DONNA的提取最優神經網絡的方法，其特征在于：所述S200數據預處理，將數據進行歸一化處理，方式為特征標準化，使數據集中所有特征都具有零均值和單位方差。

3.根據權利要求1所述的一種基于DONNA的提取最優神經網絡的方法，其特征在于：所述S200數據預處理，第一階段中，利用分塊知識蒸餾建立一個適用于不同搜索空間的精度預測器，預測器允許跨不同的宏體系結構網絡參數以及跨微體系結構參數進行搜索，采用順時針知識蒸餾即BKD作為建立精確預測器的第一步，BKD為每個替換塊Bn,m生成預先訓練的權重和質量度量的塊庫，用于快速細化和擬合精度預測器，每個塊Bn,m是使用預先訓練過的參考塊Bn作為老師獨立訓練為學生，過程中使用了教師輸出特征圖Yn和學生輸出特征映射Yn,m之間的誤差，形式上通過最小化每個信道的噪聲與信號功率比即Nsr來實現，公式如下：

其中C是特征圖中的信道數，Wn,m是塊Bn,m的權值，Yn是Bn的目標輸出特征圖，Yn,m是塊Bn的輸出，σ2n,c是Yn,c的方差，在訓練每個塊之后，生成的NSR度量作為塊Bn,m的質量度量被添加到塊庫中，Bn,m的總數以N×M線性增長，整體搜索空間隨MN呈指數增長。

4.根據權利要求1所述的一種基于DONNA的提取最優神經網絡的方法，其特征在于：所述S200數據預處理，第二階段中，快速場景感知改進搜索階段為任何特定場景找到帕累托最優網絡架構，給定精度模型和庫，執行特定進化算法以找到帕累托最優體系結構，以最大限度地提高模型精度和最小化目標成本函數，成本函數為方案無關的或感知場景的，通過在優化過程中使用直接的硬件度量，將全網絡延遲視為成本函數，在優化過程的最后，對最優模型進行細化，得到最終的模型。

5.根據權利要求1所述的一種基于DONNA的提取最優神經網絡的方法，其特征在于：所述S200數據預處理，第三階段中，預測的帕累托最優體系結構可以快速精確地完成部署，從搜索空間中采樣的完整架構可以快速細化，通過使用BKD過程中的權重來初始化，從而匹配從頭開始訓練的準確性，通過之前的參考模型，使用端到端知識蒸餾即EKD來進一步加快細化速度，根據參考模型和搜索空間的復雜性和多樣性，所述參考模型在15-50個迭代達到最先進的精度。

6.根據權利要求1所述的一種基于DONNA的提取最優神經網絡的方法，其特征在于：所述S300驗證模型中DONNA架構的搜索性能在ImageNet驗證上的準確率比從零開始訓練的OFA高2.4％，所述DONNA架構在相同延遲的100GPU上的性能超過DNA架構的1.5％。