[發明專利]一種數據處理方法和裝置

有效

• 申請號: 201710437809.4
• 申請日: 2017-06-12
• 公開（公告）號: CN109034384B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 林志
• 申請（專利權）人: 浙江宇視科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 吳開磊

本申請實施例公開了一種數據處理方法和裝置，該方法通過BN層的參數，對卷積層數據處理規則中的參數進行了修正，并基于修正后的參數生成了融合層數據處理規則，從而，在接收到待處理數據時，可以直接根據融合層數據處理規則進行處理，輸出正常的處理結果，通過應用本申請實施例所提出的技術方案，可以在包含BN層的深度學習網絡中，實現正常的數據處理，避免BN層權重數值超過half實數范圍而導致結果錯誤的問題，同時也減少了整個網絡的計算量。

技術領域

本申請涉及網絡數據處理領域，特別涉及一種數據處理方法和裝置。

背景技術

原始深度學習網絡框架Caffe只支持float(單精度浮點型)數據類型(4字節)和double(雙精度浮點型)數據類型(8字節)兩種數據類型，目前大部分訓練(train)、測試(test)以及應用過程(inference)都是基于float數據類型來完成的。但是某些大網絡，耗時和顯存消耗很嚴重，尤其是在嵌入式設備中，很多網絡無法直接應用，這就對降低計算耗時和顯存提出了更高的要求。解決方案之一是利用half(半精度浮點型)數據類型(2字節)來優化整個Caffe框架，由于每個數據的內存占用降低了一倍，整個網絡的內存消耗也幾乎降低了一倍，帶寬消耗減小到原來的1/2，性能也可提升近一倍。

越來越多的深度學習網絡中開始用到BN(Batch Normalization，批量標準化)層，可以用來減小協方差偏移并帶來很多好處，例如：可以使用更高的學習速率；不再那么小心翼翼地對待初始化的問題；還可以作為正則項，不再依賴Dropout；等等。尤其是目前使用廣泛的ResNet基礎網絡中，也用到了BN層。

申請人在實現本申請的過程中發現，上述現有的處理方案至少存在如下的問題：

用half數據類型優化了Caffe框架后，訓練過程仍然使用float來保持精度，但在inference過程中(即實際應用過程中)使用half數據類型來提高計算效率，降低內存和帶寬消耗。但在實際使用過程中會遇到一個與BN層相關的問題，即BN層的權重數據variance(方差)值太大，超過了half的示數范圍，造成數據溢出，以致于BN層之后的結果都不正確，無法正常使用。

在訓練和應用過程中不使用BN層可以避免上述問題，但顯然不能滿足深度學習網絡的設計需求。

由此可見，如何在仍然使用BN層的情況下，解決BN層權重(主要是variance)數值超過half(半精度浮點型，最大值為65504)的示數范圍，而導致結果錯誤的問題，成為了本領域技術人員亟待解決的難題。

發明內容

本申請實施例提供一種數據處理方法和裝置，在包含BN層的深度學習網絡中，實現正常的數據處理，避免BN層權重數值超過half實數范圍而導致結果錯誤的問題，同時也減少了整個網絡的計算量。

為了達到上述技術目的，本申請提供了一種數據處理方法，應用于包含卷積層和BN層的深度學習網絡中，所述方法具體包括：

通過BN層的參數，對卷積層數據處理規則中的參數進行修正；

通過修正后的參數，對卷積層數據處理規則進行修正，生成融合層數據處理規則；

當接收到待處理數據時，通過所述融合層數據處理規則進行處理，并輸出處理結果。

優選的，所述通過BN層的參數，對卷積層數據處理規則中的參數進行修正，具體包括：

通過BN層的參數，對卷積層數據處理規則中的卷積核對應值進行修正，生成融合層的卷積核對應值；

通過BN層的參數，對卷積層數據處理規則中的偏置值進行修正，生成融合層的偏置值。

優選的，所述通過BN層的參數，對卷積層數據處理規則中的卷積核對應值進行修正，生成融合層的卷積核對應值，具體根據以下公式完成：