[發(fā)明專利]神經(jīng)網(wǎng)絡壓縮、目標檢測、行駛控制方法以及裝置

在審

• 申請?zhí)枺?/td>: 202010123508.6
• 申請日: 2020-02-27
• 公開（公告）號: CN111340223A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設計）人: 游山;蘇修;王飛;錢晨
• 申請（專利權）人: 上海商湯臨港智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京中知法苑知識產(chǎn)權代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供了一種神經(jīng)網(wǎng)絡壓縮、目標檢測、行駛控制方法以及裝置，該方法包括：獲取訓練后的待壓縮神經(jīng)網(wǎng)絡的卷積層的卷積核參數(shù)信息；基于所述卷積核參數(shù)信息，從所述卷積核參數(shù)信息指示的多個卷積核中確定待刪減卷積核，并從所述多個卷積核中將所述待刪減卷積核刪除；基于刪除處理后的卷積層，確定壓縮后的神經(jīng)網(wǎng)絡。

技術領域

本公開涉及深度學習技術領域，具體而言，涉及一種神經(jīng)網(wǎng)絡壓縮、目標檢測、行駛控制方法以及裝置。

背景技術

為了保障神經(jīng)網(wǎng)絡的性能，神經(jīng)網(wǎng)絡的結構設計的較為復雜，進而要求運行神經(jīng)網(wǎng)絡的設備的性能較高，使得設計的神經(jīng)網(wǎng)絡不適用于性能較低的設備，例如，手機、平板電腦等，從而限制了神經(jīng)網(wǎng)絡的發(fā)展。

因此，如何對神經(jīng)網(wǎng)絡進行壓縮，以降低神經(jīng)網(wǎng)絡的復雜度，成為了人工智能領域的重要問題之一。

發(fā)明內容

有鑒于此，本公開至少提供一種神經(jīng)網(wǎng)絡壓縮、目標檢測、行駛控制方法以及裝置。

第一方面，本公開提供了一種神經(jīng)網(wǎng)絡壓縮方法，包括：

獲取訓練后的待壓縮神經(jīng)網(wǎng)絡的卷積層的卷積核參數(shù)信息；

基于所述卷積核參數(shù)信息，從所述卷積核參數(shù)信息指示的多個卷積核中確定待刪減卷積核，并從所述多個卷積核中將所述待刪減卷積核刪除；

基于刪除處理后的卷積層，確定壓縮后的神經(jīng)網(wǎng)絡。

采用上述方法，基于卷積核參數(shù)信息，確定神經(jīng)網(wǎng)絡中待刪減卷積核，并從多個卷積核中將待刪減卷積核刪除，減少了卷積層中卷積核的數(shù)量，簡化了待壓縮神經(jīng)網(wǎng)絡的結構，從而從卷積核的層面實現(xiàn)了對神經(jīng)網(wǎng)絡的壓縮處理，也即降低了神經(jīng)網(wǎng)絡的復雜度，從而可以提升基于壓縮處理后的神經(jīng)網(wǎng)絡進行運算處理(比如圖像識別等)時的處理效率。

一種可能的實施方式中，基于刪除處理后的卷積層，確定壓縮后的神經(jīng)網(wǎng)絡，包括：

確定本次刪減卷積核后對應的神經(jīng)網(wǎng)絡的運算速度；

在所述運算速度不滿足設置的壓縮終止條件的情況下，則將本次刪減卷積核后對應的神經(jīng)網(wǎng)絡作為新的待壓縮神經(jīng)網(wǎng)絡，返回執(zhí)行所述獲取訓練后的待壓縮神經(jīng)網(wǎng)絡的卷積層的卷積核參數(shù)信息的步驟，直到所述運算速度滿足設置的壓縮終止條件，基于最后一次刪減處理后的卷積層，確定壓縮后神經(jīng)網(wǎng)絡。

一種可能的實施方式中，基于刪除處理后的卷積層，確定壓縮后的神經(jīng)網(wǎng)絡，包括：

確定本次刪減卷積核后對應的神經(jīng)網(wǎng)絡的運算速度；

在所述運算速度滿足設置的所述壓縮終止條件的情況下，則基于本次刪減處理后的卷積層，確定壓縮后神經(jīng)網(wǎng)絡。

一種可能的實施方式中，在所述運算速度為每秒浮點運算次數(shù)FLOPs時，則所述運算速度滿足設置的所述壓縮終止條件，包括：

所述FLOPs小于設置的閾值。

上述實施方式下，由于FLOPs可以較準確的表征壓縮后的神經(jīng)網(wǎng)絡的復雜度，因此基于壓縮后的神經(jīng)網(wǎng)絡的FLOPs來確定是否終止對神經(jīng)網(wǎng)絡的壓縮處理。

一種可能的實施方式中，在從所述多個卷積核中將所述待刪減卷積核刪除之后，確定本次刪減卷積核后對應的神經(jīng)網(wǎng)絡的運算速度之前，所述方法還包括：

基于訓練樣本數(shù)據(jù)，對本次刪減卷積核后對應的神經(jīng)網(wǎng)絡的網(wǎng)絡參數(shù)進行調整。

上述實施方式中，基于訓練樣本數(shù)據(jù)，對本次刪減卷積核后對應的神經(jīng)網(wǎng)絡的網(wǎng)絡參數(shù)進行調整，可以對壓縮后的神經(jīng)網(wǎng)絡中丟失的信息進行補償，進而可以使得下次對壓縮后的神經(jīng)網(wǎng)絡進行再壓縮時，能夠較準確的確定待刪減卷積核，保障再壓縮后的神經(jīng)網(wǎng)絡的性能。