[發明專利]一種基于DONNA的提取最優神經網絡的方法

在審

• 申請號: 202110301563.4
• 申請日: 2021-03-22
• 公開（公告）號: CN113033802A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 潘曉光;宋曉晨;韓鋒;馬彩霞;姚珊珊
• 申請（專利權）人: 山西三友和智慧信息技術股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/063
• 代理公司: 太原榮信德知識產權代理事務所(特殊普通合伙) 14119
• 代理人: 楊凱;連慧敏

本發明屬于計算機網絡技術領域，具體涉及一種基于DONNA的提取最優神經網絡的方法，包括如下步驟：數據采集、數據預處理、驗證模型，所述數據采集用于采集模型所需的數據，對其類別進行標注，完成模型所需的數據集構建；所述數據預處理：將數據歸一化，并分為三個階段，第一階段構建一個與部署場景無關的精確預測器。本發明針對多個不同的硬件平臺和用戶場景，提出了一種新的用于快速神經結構搜索和空間搜索的DONNA結構，這是一種新穎的三步流水線架構，適用于感知各種場景的NAS，它支持在不同空間、不同的宏觀和微觀架構中快速搜索，且DONNA的精度預測器可以推廣到不可見的搜索空間，這對于快速搜索空間的探索非常有用。本發明用于提取最優神經網絡。

技術領域

本發明屬于計算機網絡技術領域，具體涉及一種基于DONNA的提取最優神經網絡的方法。

背景技術

即使最先進的卷積神經網絡在給定的硬件平臺上，其運行效率也會隨著不同的操作系統或者驅動程序版本的改變而改變，目前的神經結構搜索方法也存在著局限性的原因有二，其一，只針對一個部署場景，不能適應場景的任何部分發生變化，其二，沒有任何方法可以搜索資源有限的潛在架構中的真正多樣化的搜索空間。

存在問題或缺陷的原因：盡管卷積神經網絡CNN在許多視覺任務方面處于最先進的水平，但它們并不總是在硬件平臺上高效執行，針對此問題而研發的低成本的自動硬件感知神經結構搜索NAS方法也有較大缺陷。

發明內容

針對上述計算機網絡結構模型存在缺陷的技術問題，本發明提供了一種適用性強、效率高、成本低的基于DONNA的提取最優神經網絡的方法。

為了解決上述技術問題，本發明采用的技術方案為：

一種基于DONNA的提取最優神經網絡的方法，包括下列步驟：

S100、數據采集：采集模型所需的數據，對其類別進行標注，完成模型所需的數據集構建；

S200、數據預處理：將數據歸一化，并分為三個階段，過程如下：

第一階段：構建一個與部署場景無關的精確預測器；

第二階段：快速場景感知改進搜索階段為任何特定場景找到最優網絡架構；

第三階段：預測的帕累托最優體系結構快速精確地完成部署；

S300、驗證模型：在ImageNet分類中評估DONNA架構的搜索性能。

所述S200數據預處理，將數據進行歸一化處理，方式為特征標準化，使數據集中所有特征都具有零均值和單位方差。

所述S200數據預處理，第一階段中，利用分塊知識蒸餾建立一個適用于不同搜索空間的精度預測器，預測器允許跨不同的宏體系結構網絡參數以及跨微體系結構參數進行搜索，采用順時針知識蒸餾即BKD作為建立精確預測器的第一步，BKD為每個替換塊Bn,m生成預先訓練的權重和質量度量的塊庫，用于快速細化和擬合精度預測器，每個塊Bn,m是使用預先訓練過的參考塊Bn作為老師獨立訓練為學生，過程中使用了教師輸出特征圖Yn和學生輸出特征映射Yn,m之間的誤差，形式上通過最小化每個信道的噪聲與信號功率比即Nsr來實現，公式如下：

其中C是特征圖中的信道數，Wn,m是塊Bn,m的權值，Yn是Bn的目標輸出特征圖，Yn,m是塊Bn的輸出，σ2n,c是Yn,c的方差，在訓練每個塊之后，生成的NSR度量作為塊Bn,m的質量度量被添加到塊庫中，Bn,m的總數以N×M線性增長，整體搜索空間隨MN呈指數增長。