[發明專利]數據處理方法、神經網絡的訓練方法及相關裝置、設備

在審

• 申請號: 202010134455.8
• 申請日: 2020-02-29
• 公開（公告）號: CN113326930A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 程健;隋志成;周力;白立勛;蔣洪睿
• 申請（專利權）人: 華為技術有限公司;中國科學院自動化研究所
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

本申請提供了一種數據處理方法、神經網絡的訓練方法及相關裝置、設備，方法應用于訓練設備，方法包括：將神經網絡的模型參數設置為浮點數進行訓練，直到訓練設備訓練第一神經網絡達到收斂狀態；確定訓練后的第一神經網絡中第l個卷積層包含的各個卷積核之間的相關度；其中，卷積核對應的相關度越大，訓練設備在進行計算時產生的冗余計算越多；將M個卷積核進行量化訓練，直至訓練設備訓練第一神經網絡達到收斂狀態，得到量化后的第二神經網絡；其中，其中，M為大于0的正整數；M個卷積核為相關度較高的前M個卷積核。實施本申請，可以在提高神經網絡的運算效率的同時，盡可能地保持神經網絡的運算精度。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種數據處理方法、神經網絡的訓練方法及相關裝置、設備。

背景技術

人工智能(Artificial Intelligence,AI)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。換句話說，人工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式作出反應的智能機器。人工智能也就是研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。人工智能領域的研究包括機器人，自然語言處理，計算機視覺，決策與推理，人機交互，推薦與搜索，AI基礎理論等。

神經網絡(Neural Network，NN)作為人工智能的重要分支，是一種模仿動物神經網絡行為特征進行信息處理的網絡結構。神經網絡的結構由大量的節點(或稱神經元)相互聯接構成，基于特定運算模型通過對輸入信息進行學習和訓練達到處理信息的目的。一個神經網絡包括輸入層、隱藏層及輸出層，輸入層負責接收輸入信號，輸出層負責輸出神經網絡的計算結果，隱藏層負責學習、訓練等計算過程，是網絡的記憶單元，隱藏層的記憶功能由權重矩陣來表征，通常每個神經元對應一個權重系數。

現有技術中，神經網絡(neural network，NN)、深度神經網絡(deep neuralnetworks，DNN)等機器學習模型已經被應用于各種領域中，例如，圖片分類、物體檢測、語音識別等，并取得了良好的效果。隨著神經網絡模型的不斷加深和加寬，神經網絡模型的性能不斷提升，但是神經網絡模型過擬合的問題也日益突出。具體來說，神經網絡模型過擬合的問題可以體現在：神經網絡模型通過訓練數據集可以獲取比較好的模型精度，而在一個新的數據集下(例如，新的數據集為測試數據集)，獲取得到的神經網絡的模型精度往往比較差，這意味著神經網絡模型的泛化能力弱。

目前，可以通過對神經網絡的模型參數(例如，權值)進行量化訓練來有效解決神經網絡模型過擬合的問題。具體來說，對神經網絡的模型參數進行量化訓練是指，將神經網絡的模型參數由浮點數設置為整型數的訓練過程。以卷積神經網絡為例，由于卷積核可以看作一個權值矩陣，在對該卷積網絡進行量化訓練時，一般將卷積神經網絡包含的所有卷積核中的權值均設置為整型數，這一實現方式可以提高卷積神經網絡的運算效率，然而，該卷積神經網絡的模型精度低。因此，如何在提高神經網絡的運算效率的同時，盡可能地保持神經網絡的運算精度是急需解決的技術問題。

發明內容

本申請提供了一種數據處理方法、神經網絡的訓練方法及相關裝置、設備，由于量化后的神經網絡保留了卷積核的絕大多數信息，可以在提高神經網絡的運算效率的同時，盡可能地保持神經網絡的運算精度。