[發明專利]一種提取數據特征的方法和相關裝置

有效

• 申請號: 202110761751.5
• 申請日: 2020-06-30
• 公開（公告）號: CN113919479B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 韓凱;王云鶴;許春景
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N3/063;G06V10/82
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 張卉;王君

本申請提供了人工智能領域中提取數據特征的方法和裝置。本申請的技術方案中，采用加法卷積運算，基于量化后的特征提取參數提取量化后的數據中的目標特征，即計算量化后的特征提取參數和量化后的數據的差值的絕對值之和，以根據該和獲取目標特征，這樣可以在節省存儲資源的同時還能節省計算資源，從而可以減小人工智能在資源受限的設備上的應用。此外，本申請還提出了使用相同的量化參數對特征提取參數和數據進行量化，這樣，在對提取到的特征數據進行反量化時，可以基于該量化參數對特征數據進行反量化，從而可以在提高特征數據的精準度的同時還能降低計算復雜度，進而節省計算資源。進一步地，本申請還提供了用于實現該加法卷積運算的硬件裝置。

技術領域

本申請涉及人工智能領域的數據計算技術，并且更具體地，涉及一種提取數據特征的 方法和相關裝置。

背景技術

人工智能(artificial intelligence，AI)是利用數字計算機或者數字計算機控制的機器 模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、 技術及應用系統。換句話說，人工智能是計算機科學的一個分支，它企圖了解智能的實質， 并生產出一種新的能以人類智能相似的方式作出反應的智能機器。人工智能也就是研究各 種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。人工智能領域 的研究包括機器人，自然語言處理，計算機視覺，決策與推理，人機交互，推薦與搜索， AI基礎理論等。

神經網絡(neural network，NN)作為人工智能的重要分支，是一種模仿動物神經網 絡行為特征進行信息處理的網絡結構。神經網絡的結構由大量的節點(或稱神經元)相互 聯接構成，基于特定運算模型通過對輸入信息進行學習和訓練達到處理信息的目的。一個 神經網絡包括輸入層、隱藏層及輸出層，輸入層負責接收輸入信號，輸出層負責輸出神經 網絡的計算結果，隱藏層負責學習、訓練等計算過程，是網絡的記憶單元，隱藏層的記憶功能由權重矩陣來表征，通常每個神經元對應一個權重參數。

其中，卷積神經網絡(convolutional neural network，CNN)是一種多層的神經網絡， 每層由多個二維平面組成，而每個平面由多個獨立神經元組成，每個平面的多個神經元共 享權重，通過權重共享可以降低神經網絡中的參數數目。目前，在卷積神經網絡中，處理 器進行卷積操作通常是將輸入信號與權重的卷積，轉換為信號矩陣與權重矩陣之間的矩陣 乘運算，以提取輸入信號的特征信息。在具體矩陣乘運算時，對信號矩陣和權重矩陣進行 分塊處理，得到多個分形(Fractional)信號矩陣和分形權重矩陣，然后對多個分形信號矩 陣和分形權重矩陣進行矩陣乘和累加運算。

隨著神經網絡性能的增強，神經網絡的權重參數也越來越多，神經網絡運行時對存儲、 計算等的需求和消耗也越來越大，這不利用基于神經網絡的人工智能在資源受限的硬件終 端設備中進行應用。

經過研究發現，神經網絡具有很好的魯棒性。這使得對大型神經網絡的權重參數進行 量化，減小權重參數精度之后，該神經網絡依然可以保持良好的性能。因此，本領域技術 人員提出了，若訓練好的神經網絡需要導入到資源受限的終端設備上應用，則可以對該神 經網絡的權重參數進行量化，以實現對該神經網絡進行模型壓縮的目的。這樣，壓縮后的 神經網絡在終端設備上應用時，可以減小權重參數的存儲消耗以及基于該神經網絡對輸入 信號進行特征提取操作的計算消耗。其中，在終端設備基于壓縮后的神經網絡對輸入信號 進行特征提取時，為了保證提取到的特征的精確度，可以對該神經網絡的權重參數進行反 量化。

但是，經研究還發現，基于量化后的神經網絡的權重參數對輸入信息進行乘法卷積時， 所需的硬件電路資源非常多，計算復雜度高，能耗還是非常大。也就是說，基于量化后的 神經網絡的權重參數對輸入信息進行乘法卷積所需的大量計算資源限制了人工智能在計 算資源受限的設備上的應用。

因此，如何降低基于量化后的神經網絡對輸入信息進行特征提取所需的計算資源，是 亟待解決的技術問題。

發明內容