[發明專利]神經網絡的優化方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010889955.2
• 申請日: 2020-08-28
• 公開（公告）號: CN112036549B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 袁坤;李全全;閆俊杰
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 董曉盈

公開了一種神經網絡的優化方法、裝置、電子設備及存儲介質，所述方法包括：將樣本數據輸入至神經網絡，所述樣本數據對應于標注數據；將所述神經網絡中的變換操作映射至節點，所述神經網絡包括至少一個所述節點；將所述神經網絡對應的節點通過邊進行連接，獲得連接關系，其中，所述邊表征所述節點之間的數據傳輸關系，所述節點的輸出邊具有路徑權重，所述路徑權重根據所述節點的輸入數據的聚合結果確定；根據所述神經網絡的輸出數據與所述標注數據的差異，對所述節點對應的路徑權重進行調整。

技術領域

本公開涉及計算機視覺技術，尤其涉及一種神經網絡的優化方法、裝置、電子設備及存儲介質。

背景技術

在神經網絡的設計中，對于數據集中的不同樣本，通常使用相同的網絡結構，然而數據集中存在的樣本差異使得特征表示的難度增加。

目前通常通過增加卷積層的數量或者擴充卷積層來增加網絡的容量和表示能力，但這種方式會增加額外的參數量和計算量，并增大模型在實際部署中的成本，因此，如何針對樣本差異有效地增加網絡表示能力仍然是亟待解決的問題。

發明內容

本公開提供一種神經網絡的優化方案。

根據本公開的一方面，提出一種神經網絡的優化方法，所述方法包括：將樣本數據輸入至神經網絡，所述樣本數據對應于標注數據；將所述神經網絡中的變換操作映射至節點，所述神經網絡包括至少一個所述節點；將所述神經網絡對應的節點通過邊進行連接，獲得連接關系，其中，所述邊表征所述節點之間的數據傳輸關系，所述節點的輸出邊具有路徑權重，所述路徑權重根據所述節點的輸入數據的聚合結果確定；根據所述神經網絡的輸出數據與所述標注數據的差異，對所述節點對應的路徑權重進行調整。

結合本公開提供的任一實施方式，所述路徑權重根據所述節點的輸入數據的聚合結果確定，包括：獲取對所述輸入數據的聚合結果進行所述節點所對應的變換操作所得到的變換特征；根據所述變換特征，以及所述節點的輸出邊的數量，確定所述節點的輸出邊對應的路徑權重。

結合本公開提供的任一實施方式，所述節點配置有路由單元，所述路由單元包括池化層、全連接層以及激活層，所述根據所述變換特征，以及所述節點的輸出邊的數量，確定所述節點的輸出邊對應的路徑權重，包括：通過所述池化層對所述變換特征進行下采樣，獲得特征向量，所述特征向量的維度根據所述節點的輸出邊的數量確定；通過所述全連接層對所述特征向量進行全連接處理，獲得全連接特征；將所述全連接特征輸入激活層，獲得所述全連接特征對應的所述節點的輸出邊的路徑權重。

結合本公開提供的任一實施方式，所述神經網絡中每一階節點所對應的路徑權重存儲在鄰接矩陣中，所述鄰接矩陣的每一行表示所述節點的輸入邊對應的路徑權重，所述鄰接矩陣的每一列表示所述節點的輸出邊對應的權重，其中，所述節點的輸入邊為與所述節點連接的前序節點的輸出邊。

結合本公開提供的任一實施方式，所述樣本數據為批訓練樣本數據，所述方法還包括：將根據所述批訓練樣本數據獲得的多個鄰接矩陣存儲在相同的緩存區域中，其中，所述多個鄰接矩陣用于存儲所述批訓練樣本數據對應的神經網絡中每一階節點的路徑權重。

結合本公開提供的任一實施方式，所述將所述神經網絡對應的節點通過邊進行連接，獲得連接關系，包括：將所述神經網絡對應的各個節點中的每一對節點進行連接，獲得全連接關系。

結合本公開提供的任一實施方式，所述方法還包括：響應于調整后的路徑權重小于設定閾值，移除所述路徑權重所對應的邊；和/或，響應于調整后的路徑權重大于或等于設定閾值，保留所述路徑權重所對應的邊。

結合本公開提供的任一實施方式，所述方法還包括：在對所述節點對應的路徑權重進行調整的同時，對所述節點的網絡參數進行調整。

結合本公開提供的任一實施方式，所述變換操作包括求和、卷積、歸一化、激活中的一項或多項。