[發明專利]一種層級化網絡結構搜索方法、設備及可讀存儲介質

有效

• 申請號: 202010568944.4
• 申請日: 2020-06-19
• 公開（公告）號: CN111860495B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 戴文睿;王曜明;李成林;鄒君妮;熊紅凱
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種層級化網絡結構搜索方法，用于圖像處理，其特征在于，包括：

S1，利用基本單元構建網絡結構搜索模型的超網絡，所述超網絡是包含所有候選操作和侯選邊的基本單元堆疊成的作為搜索框架的原始神經網絡；

S2，獲取圖像數據并平均分成兩部分，第一部分圖像數據作為所述超網絡的網絡參數的訓練數據，將這部分圖像訓練數據輸入到網絡更新模塊，第二部分圖像數據作為所述超網絡的結構參數的訓練數據，將這部分圖像訓練數據輸入到結構更新模塊；

S3，所述網絡更新模塊利用第一部分圖像數據經過所述超網絡生成特征圖，使用所述特征圖計算網絡參數的交叉熵損失函數，再利用梯度下降方法根據所述網絡參數的交叉熵損失函數不斷更新所述超網絡的網絡參數；

S4，所述結構更新模塊將第二部分圖像數據通過所述超網絡生成特征圖和KL散度損失函數，使用所述特征圖計算結構參數的交叉熵損失函數，將所述KL散度損失函數和所述結構參數的交叉熵損失函數相加計算得到半隱含變分丟棄損失函數，然后利用梯度下降方法根據所述半隱含變分丟棄損失函數對所述超網絡的結構參數進行訓練更新所述超網絡的結構參數并得到丟棄概率；

S5，將更新的所述超網絡的結構參數和所述丟棄概率輸入到結構保留模塊，所述結構保留模塊利用所述丟棄概率對所述基本單元中的候選操作和候選邊進行采樣并以此更新基本單元，更新退火參數，通過不斷降低退火參數來降低KL散度損失函數的權重；

重復S3～S5不斷迭代更新所述超網絡的網絡參數和結構參數，直到網絡結構搜索模型收斂；

S6，將更新得到的新基本單元構建網絡結構搜索模型的最終網絡，所述最終網絡是包含選定的候選操作和選定的侯選邊的新基本單元堆疊成的作為搜索結果的目標神經網絡。

2.根據權利要求1所述的層級化網絡結構搜索方法，其特征在于，所述利用基本單元構建網絡結構搜索模型的超網絡，其中，

所述基本單元分為普通單元(normal cell)和歸約單元(reduction cell)兩類，所述普通單元中的所有候選操作的步長都為1，使得通過所述普通單元的輸出的維度不發生變化，而所述歸約單元中的靠近輸入節點的操作的步長均設為2，使得輸出的維度經過此單元后降低。

3.根據權利要求1所述的層級化網絡結構搜索方法，其特征在于，所述超網絡的網絡參數，是指所有基本單元的候選操作內部的參數；

使用所述特征圖計算網絡參數的交叉熵損失函數，是指根據特征圖和第一部分圖像數據攜帶的標簽信息，計算得到交叉熵損失函數，所述標簽信息為人工標注的類別信息。

4.根據權利要求1所述的層級化網絡結構搜索方法，其特征在于，所述超網絡的結構參數，是指所有基本單元的候選邊和候選操作的權重參數以及方差參數；

所述結構更新模塊包括半隱含分布近似子模塊和參數更新子模塊，所述半隱含分布近似子模塊根據層級化完成對候選操作和候選分布的各自的半隱含分布近似，所述候選操作和候選分布的各自的半隱含分布近似包括半隱含后驗分布近似以及半隱含退火自動相關性檢測先驗分布近似；所述參數更新子模塊，利用梯度下降以所述KL散度損失函數與所述結構參數的交叉熵損失函數相加計算得到的半隱含變分丟棄損失函數作為目標損失函數對候選操作和候選邊的結構參數分別迭代地更新；

所述KL散度損失函數，是候選操作和侯選邊各自的半隱含近似后驗分布和半隱含近似退火自動相關性檢測先驗分布的相對熵之和；

所述丟棄概率p與伯努利分布q(ψ)的參數δ相關，δ越高對應的丟棄概率越大，以1/(1+δ)為期望的伯努利分布q(ψ)的采樣值Ψ則越高的概率為0。

5.根據權利要求4所述的層級化網絡結構搜索方法，其特征在于，將更新得到的所述超網絡的結構參數輸入到所述結構保留模塊，所述結構保留模塊將伯努利分布q(ψ)的采樣值Ψ代入到所述超網絡中，所有基本單元里保留采樣值為1的候選邊和候選操作，丟棄采樣值為0的候選邊和候選操作，得到新的超網絡，以此超網絡作為下次迭代更新所用的超網絡。