[發明專利]一種層級化網絡結構搜索方法、設備及可讀存儲介質

有效

• 申請號: 202010568944.4
• 申請日: 2020-06-19
• 公開（公告）號: CN111860495B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 戴文睿;王曜明;李成林;鄒君妮;熊紅凱
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發明提供一種層級化網絡結構搜索方法、設備及可讀存儲介質，包括：S1，構建超網絡；S2，獲取圖像數據并分別作為超網絡的網絡參數、結構參數的訓練數據；S3，生成特征圖，計算網絡參數的交叉熵損失函數，更新超網絡的網絡參數；S4，生成特征圖和KL散度損失函數，計算結構參數的交叉熵損失函數，得到半隱含變分丟棄損失函數，訓練更新超網絡的結構參數并得到丟棄概率；S5，利用丟棄概率更新基本單元，更新退火參數；重復S3～S5，更新網絡參數和結構參數；S6，得到最終網絡。本發明在保證較高的性能同時大幅度減少搜索時間和降低計算復雜度，保證了搜索的穩定性和實用性，可用于圖像目標檢測、分類等領域，提高圖像處理速度。

技術領域

本發明涉及人工智能和圖像處理技術領域，具體涉及一種層級化網絡結構搜索方法，及其計算機設備及可讀存儲介質，以及該方法在圖像目標檢測、語義分割和分類中的應用。

背景技術

隨著計算能力和深度學習的發展，人工智能的發展越來越迅速。最初的圖像處理由于采集的圖像質量不高，對特征提取的要求因而比較低，所以主要的技術是手工特征的提取。后來圖像質量不斷提升，對圖像處理的精度要求不斷提高下，一些統計模式識別的方法例如SVM和信號處理的方法例如小波變換，使得圖像處理的發展得到了一定的進步。但手工設計的特征學習始終保留著人為先驗帶來的偏見，對于圖像的預處理要求較高，并且在圖像處理的性能上始終無法超越人類。而由特征和分類器聯合訓練，以數據驅動的方式自動產生最適應于相關任務目標的濾波器組的端到端神經網絡則摒棄了手工設計的特征也無需繁雜的預處理工作并提供了強大的圖像處理能力。神經網絡的出現使得人們無需手工設計特征，但神經網絡依然需要手工地搭建。

手動設計的網絡在過去的十多年里收獲了不錯的成績，但日漸復雜的神經網絡使得設計網絡成為了一種繁雜且沒有效率的工作。網絡結構搜索為工業應用中神經網絡的搭建提供了一種更加高效和便捷的方法，例如高效配置于不同計算能力的設備(如服務器、移動設備等)，不同時間消耗和準確率需求的應用(例如目標實時監測、大規模圖像集分析等)，并能夠據此自動設計人工智能芯片。網絡結構搜索也在最近幾年中因此得到了一定的發展，從基于進化算法的搜索方法發展到現在利用梯度下降高效地搜索網絡結構。基于進化算法，強化學習的網絡結構搜索方法雖然在搜索得到的結構性能上超越了手動設計的神經網絡結構，但花費大量的時間以及計算資源去得到最終的結構，使得網絡結構搜索不具有實用性。因此，需要新的方法在保證較高的性能同時大幅度減少搜索時間和降低計算復雜度。

現有的網絡結構搜索方法在圖像分類任務上存在著不足，這些不足體現在首先對于目前的公共數據集上的圖像分類任務，大部分的網絡結構搜索方法是需要根據后續圖像分類應用所特定的訓練數據來搜索得到特定網絡結構的。這代表即使同樣是圖像分類的任務，在更換需要分類的圖像的類別之后，仍需要從頭進行網絡結構的搜索。其次，現有的基于DARTS搜索空間的搜索方法，在網絡搜索時會因為搜索epoch數目過多而產生崩潰現象，這一崩潰現象體現在最終的結構變成無參數的全連接神經網絡，當用在圖像分類任務上時完全無法勝任。而這一崩潰現象也使得當網絡結構搜索直接用于圖像分類或是其他下流任務時，因為無法確定何時網絡結構收斂，而造成下流任務性能的不足。

發明內容

本發明針對現有技術的不足，提供了一種層級化網絡結構搜索方法，在保證較高的性能同時大幅度減少搜索時間和降低計算復雜度，保證了搜索的穩定性和實用性，可以用于圖像目標檢測、分類等領域，提高圖像處理速度。

根據本發明的第一方面，提供一種層級化網絡結構搜索方法，用于圖像處理，包括：

S1，利用基本單元構建網絡結構搜索模型的超網絡，所述超網絡是包含所有候選操作和侯選邊的基本單元堆疊成的作為搜索框架的原始神經網絡；

S2，獲取圖像數據并平均分成兩部分，第一部分圖像數據作為所述超網絡的網絡參數的訓練數據，將這部分圖像訓練數據輸入到網絡更新模塊，第二部分圖像數據作為所述超網絡的結構參數的訓練數據，將這部分圖像訓練數據輸入到結構更新模塊；