[發明專利]一種數據處理的方法、系統、設備及可讀存儲介質

有效

• 申請號: 202010745395.3
• 申請日: 2020-07-29
• 公開（公告）號: CN111898751B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 梁玲燕;董剛;趙雅倩
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王曉坤

本申請公開了一種數據處理的方法，包括：根據獲取的網絡模型的結構信息將網絡模型的每一層標記為關鍵層或非關鍵層；根據需要部署的硬件資源信息分別確定關鍵層的量化位寬范圍和非關鍵層的量化位寬范圍；在量化位寬范圍內確定網絡模型每一層的最優量化位寬；基于網絡模型每一層的最優量化位寬對網絡模型進行訓練得到最優網絡模型，并利用最優網絡模型進行數據處理。本申請基于最優量化位寬訓練得到的最優網絡模型在保證網絡模型最佳精度的情況下，最大限度地對模型結構進行壓縮，實現硬件端的最優部署，進而使得利用該最優網絡模型對數據進行處理時的效率得到提高。本申請同時還提供了一種數據處理的系統、設備及可讀存儲介質，具有上述有益效果。

技術領域

本申請涉及數據處理領域，特別涉及一種數據處理的方法、系統、設備及可讀存儲介質。

背景技術

隨著人工智能技術的不斷發展，人工智能技術已逐漸應用于日常生活中。在人工智能技術領域，深度學習是較典型的技術之一。雖然深度神經網絡在圖像分類，檢測等方面的能力已接近或超越人類，但在實際部署中，仍然存在模型大，計算復雜度高等問題，對硬件成本要求較高。而在實際應用中，為了降低硬件成本，很多都是將神經網絡部署于一些終端設備或者邊緣設備上，這些設備一般只有較低的計算能力，而且內存和電量消耗也都受限。

因此要將深度神經網絡模型真正實現部署，在保證網絡模型精度不變的情況下，將網絡模型變小，使其推理更快，耗電更低是非常有必要的。針對這個主題，目前主要有兩種研究方向，一種是重新構建一個高效的輕量化模型，另一種則是通過量化，裁剪和壓縮來降低模型尺寸。當前模型量化技術方向主要包括兩種：無需重新訓練的量化(post-training quantization)和基于訓練的量化(training-aware quantization)。無論是哪種量化模型，多是研究者基于先驗知識預設置量化位寬后再進行量化處理，而較少考慮網絡實際模型結構和所需部署的硬件環境，導致預設置的量化位寬無法適合于該網絡模型結構的量化，且無法最優部署于相應的硬件環境中，導致利用該網絡模型對數據進行處理時的效率較低。

因此，如何提高數據處理的效率是本領域技術人員目前需要解決的技術問題。

發明內容

本申請的目的是提供一種數據處理的方法、系統、設備及可讀存儲介質，用于提高數據處理的效率。

為解決上述技術問題，本申請提供一種數據處理的方法，該方法包括：

根據獲取的網絡模型的結構信息將所述網絡模型的每一層標記為關鍵層或非關鍵層；

根據需要部署的硬件資源信息分別確定所述關鍵層的量化位寬范圍和所述非關鍵層的量化位寬范圍；

在所述量化位寬范圍內確定所述網絡模型每一層的最優量化位寬；

基于所述網絡模型每一層的最優量化位寬對所述網絡模型進行訓練得到最優網絡模型，并利用所述最優網絡模型進行數據處理。

可選的，根據獲取的網絡模型的結構信息將所述網絡模型的每一層標記為關鍵層或非關鍵層，包括：

根據所述網絡模型的結構信息確定初始網絡模型參數，并對所述網絡模型的每一層進行排序；

將所述網絡模型的第一層標記為所述關鍵層，并根據所述初始網絡模型參數計算所述網絡模型中當前層與上一層的特征圖之間的相似度；

若所述相似度小于閾值，則將所述當前層標記為所述關鍵層；

若所述相似度大于或等于所述閾值，則將所述當前層標記為所述非關鍵層。

可選的，在所述量化位寬范圍內確定所述網絡模型每一層的最優量化位寬，包括：

根據所述量化位寬范圍內量化位寬的數量確定所述網絡模型當前層的訓練分支的數量；