[發明專利]神經網絡及其構建方法、裝置和系統

在審

• 申請號: 201710004485.5
• 申請日: 2017-01-04
• 公開（公告）號: CN106815637A
• 公開（公告）日: 2017-06-09
• 發明（設計）人: 周舒暢;溫和;周昕宇
• 申請（專利權）人: 北京曠視科技有限公司;北京小孔科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京市磐華律師事務所11336
• 代理人: 高偉,卜璐璐

技術領域

本發明涉及圖像處理技術領域，更具體地涉及一種神經網絡及其構建方法、裝置和系統。

背景技術

神經網絡在圖像識別、語音識別以及文字識別等領域中已經有了廣泛且成功的應用。實際使用神經網絡時，由于神經網絡參數多，消耗的計算資源較大。特別在手機等計算能力受限的平臺上，計算造成長延時，還對功耗、散熱等帶來挑戰。

發明內容

為了解決上述問題而提出了本發明。根據本發明一方面，提供了一種神經網絡的構建方法，所述方法包括：獲取包括卷積層的原始神經網絡，所述原始神經網絡的卷積層定義為原始卷積層；以及根據變換規則，將所述原始神經網絡的至少一個原始卷積層變換為新的卷積層，以用于構建新的神經網絡；其中，所述新的卷積層包括第一卷積層和與所述第一卷積層連接的第二卷積層，所述第一卷積層為每信道共享卷積的卷積層，所述第二卷積層為與原始卷積層相比卷積核尺寸變小的卷積層，所述新的卷積層的輸入輸出與所述原始卷積層的輸入輸出均相同。

在本發明的一個實施例中，所述第一卷積層為輸入信道每信道共享卷積的卷積層或輸出信道每信道共享卷積的卷積層。

在本發明的一個實施例中，所述第一卷積層的輸入等于所述原始卷積層的輸入，所述第一卷積層的輸出作為所述第二卷積層的輸入，所述第二卷積層的輸出等于所述原始卷積層的輸出。

在本發明的一個實施例中，所述第二卷積層的輸入等于所述原始卷積層的輸入，所述第二卷積層的輸出作為所述第一卷積層的輸入，所述第一卷積層的輸出等于所述原始卷積層的輸出。

在本發明的一個實施例中，所述第一卷積層的卷積核的尺寸等于所述原始卷積層的卷積核的尺寸。

在本發明的一個實施例中，所述第二卷積層為1×1卷積層。

在本發明的一個實施例中，所述第一卷積層的卷積核的維度等于所述原始卷積層的卷積核的維度。

根據本發明另一方面，提供了一種神經網絡的構建裝置，所述裝置包括：獲取模塊，用于獲取包括卷積層的原始神經網絡，所述原始神經網絡的卷積層定義為原始卷積層；以及變換模塊，用于根據變換規則，將所述原始神經網絡的至少一個原始卷積層變換為新的卷積層，以用于構建新的神經網絡；其中，所述新的卷積層包括第一卷積層和與所述第一卷積層連接的第二卷積層，所述第一卷積層為每信道共享卷積的卷積層，所述第二卷積層為與原始卷積層相比卷積核尺寸變小的卷積層，所述新的卷積層的輸入輸出與所述原始卷積層的輸入輸出均相同。

在本發明的一個實施例中，所述第一卷積層為輸入信道每信道共享卷積的卷積層或輸出信道每信道共享卷積的卷積層。

在本發明的一個實施例中，所述第一卷積層的輸入等于所述原始卷積層的輸入，所述第一卷積層的輸出作為所述第二卷積層的輸入，所述第二卷積層的輸出等于所述原始卷積層的輸出。

在本發明的一個實施例中，所述第二卷積層的輸入等于所述原始卷積層的輸入，所述第二卷積層的輸出作為所述第一卷積層的輸入，所述第一卷積層的輸出等于所述原始卷積層的輸出。

在本發明的一個實施例中，所述第一卷積層的卷積核的尺寸等于所述原始卷積層的卷積核的尺寸。

在本發明的一個實施例中，所述第二卷積層為1×1卷積層。

在本發明的一個實施例中，所述第一卷積層的卷積核的維度等于所述原始卷積層的卷積核的維度。

根據本發明又一方面，提供了一種神經網絡的構建系統，所述系統包括處理器和存儲裝置，所述存儲裝置上存儲有計算機程序，所述計算機程序在被所述處理器運行時執行上述任一項所述的方法。

根據本發明再一方面，提供了一種神經網絡，所述神經網絡是通過采用上述任一項或幾項所述的方法、裝置或系統而構建的。

根據本發明實施例的神經網絡及其構建方法、裝置和系統通過將神經網絡的至少一個卷積層變換為每信道共享卷積的卷積層與卷積核尺寸變小的卷積層的組合來構建新的神經網絡，可在確保神經網絡實現功能不變的情況下減小神經網絡的計算量。

附圖說明

通過結合附圖對本發明實施例進行更詳細的描述，本發明的上述以及其它目的、特征和優勢將變得更加明顯。附圖用來提供對本發明實施例的進一步理解，并且構成說明書的一部分，與本發明實施例一起用于解釋本發明，并不構成對本發明的限制。在附圖中，相同的參考標號通常代表相同部件或步驟。

圖1示出用于實現根據本發明實施例的神經網絡的構建方法和裝置的示例電子設備的示意性框圖；

圖2示出根據本發明實施例的神經網絡的構建方法的示意性流程圖；