[發明專利]一種圖像分類方法、裝置及相關組件

在審

• 申請號: 202011110384.4
• 申請日: 2020-10-16
• 公開（公告）號: CN112270343A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 楊宏斌;金良;趙雅倩;董剛;劉海威;蔣東東;胡克坤;李仁剛
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/06;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉志紅

本申請公開了一種圖像分類方法、裝置、電子設備及計算機可讀存儲介質，該圖像分類方法包括根據ELU負半軸對應的函數和TLU函數構造TELU激活函數；對輸入圖像數據進行卷積計算得到特征數據；根據特征數據獲取神經網絡當前層中第c個通道、第b個batch對應的均方歸一化處理后的目標數據；通過TELU激活函數得到目標數據對應的特征圖；根據所有特征圖得到圖像分類結果。本申請能夠解決FRN缺少均值居中造成的激活遠離0值的偏差問題、輸入部分因梯度消失而引起的神經元死亡的問題，在輸入取較小值時具有軟飽和的特性，減少前向傳播的變化和信息，提高了神經網絡的整體性能，使得圖像分類結果具有更高的準確性。

技術領域

本申請涉及圖像分類領域，特別涉及一種圖像分類方法、裝置及相關組件。

背景技術

BN(Batch Normalization，批歸一化)是深度學習領域中一項具有里程碑意義的技術，它使各種網絡得以訓練，在很大程度上推動了計算機視覺領域的發展。BN通過在(mini-)batch內計算均值和方差對特征進行歸一化，簡化了網絡的優化過程，使得比較深的神經網絡在訓練中收斂。但是沿著batch維度上的歸一化出現了諸多問題，當batch size逐漸變小時，由于對batch的統計信息估算不準確，導致圖像分類等網絡模型的錯誤率急劇上升，限制了在訓練較大模型時對BN的使用。

為解決上述技術問題，現有技術采用基于TLU的FRN歸一化的方案，不存在batch依賴，它獨立在每個樣本的每個激活通道(filter響應)上操作，對各batch size的準確率表現穩定、一致，但是TLU是基于ReLU做的改進，因此具有ReLU本身的一些缺點，由于ReLU的輸出值沒有負值，所以輸出的均值會大于0，當激活值的均值非0時，就會對下一層造成一個bias，如果激活值之間不會相互抵消(即均值非0)，會導致下一層的激活單元有biasshift。如此疊加，單元越多時，bias shift就會越大，所以ReLU在訓練一些超深網絡的時候會出現不收斂的問題，又由于ReLU激活函數固有的一些特性，容易導致輸入負半軸部分梯度消失，權重無法更新的情況，ReLU在輸入為負時導數會變成0，而梯度消失會引起神經元死亡的問題，進而影響神經網絡的整體性能，從而導致圖像分類準確性低。

因此，如何提供一種解決上述技術問題的方案是本領域技術人員目前需要解決的問題。

發明內容

本申請的目的是提供一種圖像分類方法、裝置、電子設備及計算機可讀存儲介質，能夠解決FRN缺少均值居中造成的激活遠離0值的偏差問題、輸入部分因梯度消失而引起的神經元死亡的問題，在輸入取較小值時具有軟飽和的特性，減少前向傳播的變化和信息，提高了神經網絡的整體性能，使得圖像分類結果具有更高的準確性。

為解決上述技術問題，本申請提供了一種圖像分類方法，包括：

根據ELU負半軸對應的函數和TLU函數構造TELU激活函數；

對輸入圖像數據進行卷積計算得到特征數據；

根據所述特征數據獲取神經網絡當前層中第c個通道、第b個batch對應的均方歸一化處理后的目標數據，其中，b、c均為正整數；

通過所述TELU激活函數得到所述目標數據對應的特征圖；

根據所有所述特征圖得到圖像分類結果。

優選的，所述TELU激活函數為：

或，

其中，yi為所述輸入圖像數據，τ為學習閾值，α為可調參數。

優選的，所述特征數據的張量表示為[B，W，H，C]，B為mini batch size，C為卷積中filter的數量，W為所述特征數據的寬，H為所述特征數據的高。