[發明專利]神經網絡模型訓練的方法和裝置

有效

• 申請號: 201910883124.1
• 申請日: 2019-09-18
• 公開（公告）號: CN112529146B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 于德權;吳覬豪;賈明波;馬杰延
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06V10/25;G06V10/82;G06N3/084
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 王雷;時林

本申請提供了人工智能領域中的一種神經網絡模型訓練的方法，包括：獲取神經網絡模型、第一訓練數據和第一訓練數據的類別，神經網絡模型是根據第二訓練數據訓練得到的，第一訓練數據包括支持數據和查詢數據，支持數據包括第一訓練數據中的每一類的全部或部分數據，查詢數據包括第一訓練數據中每一類的全部或部分數據；利用神經網絡模型對于第一訓練數據進行特征提取，以得到第一訓練數據的特征；根據每一類的類中心特征與查詢數據特征的特征距離，調整神經網絡模型中部分層的參數，以得到調整后的神經網絡模型。通過對訓練得到的神經網絡模型的部分層的參數進行調整，從而得到具有良好精度和泛化能力的神經網絡模型。

技術領域

本申請涉及人工智能領域，尤其涉及一種神經網絡模型訓練的方法及裝置。

背景技術

人工智能(artificial intelligence，AI)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。換句話說，人工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式作出反應的智能機器。人工智能也就是研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能

計算機視覺是各個應用領域，如制造業、檢驗、文檔分析、醫療診斷，和軍事等領域中各種智能/自主系統中不可分割的一部分，它是一門關于如何運用照相機/攝像機和計算機來獲取我們所需的，被拍攝對象的數據與信息的學問。形象地說，就是給計算機安裝上眼睛(照相機/攝像機)和大腦(算法)用來代替人眼對目標進行識別、跟蹤和測量等，從而使計算機能夠感知環境。因為感知可以看作是從感官信號中提取信息，所以計算機視覺也可以看作是研究如何使人工系統從圖像或多維數據中“感知”的科學。總的來說，計算機視覺就是用各種成象系統代替視覺器官獲取輸入信息，再由計算機來代替大腦對這些輸入信息完成處理和解釋。計算機視覺的最終研究目標就是使計算機能像人那樣通過視覺觀察和理解世界，具有自主適應環境的能力。

基于聚類的小樣本學習方案，通過神經網絡模型提取訓練數據的特征，并計算不同類別的訓練數據的特征之間的距離，訓練神經網絡模型。由于小樣本學習方案的訓練數據有限，訓練得到的神經網絡模型泛化能力較差。

發明內容

本申請提供一種神經網絡模型訓練的方法，能夠在訓練數據的數據量較小或數據量不平衡的情況下，訓練得到具有較高精度和良好泛化能力的神經網絡模型。

第一方面，提供一種神經網絡模型訓練的方法，包括：獲取神經網絡模型、第一訓練數據和所述第一訓練數據的類別，所述神經網絡模型是根據第二訓練數據訓練得到的，所述第一訓練數據包括支持數據和查詢數據，所述支持數據包括所述第一訓練數據中的每一類的全部或部分數據，所述查詢數據包括所述第一訓練數據中每一類的全部或部分數據；利用所述神經網絡模型對于所述第一訓練數據進行特征提取，以得到所述第一訓練數據的特征；根據每一類的類中心特征與所述查詢數據特征的特征距離，調整所述神經網絡模型中部分層的參數，以得到調整后的神經網絡模型，所述每一類的類中心特征中的每一位為所述每一類的所述支持數據的特征對應位的平均值。

利用訓練得到的神經網絡模型提取訓練數據的特征，根據訓練數據的特征之間的特征距離調整神經網絡模型的部分層的參數，能夠得到精度較高，且泛化能力較強的神經網絡模型。

結合第一方面，在一些可能的實現方式中，所述根據每一類的類中心特征與所述查詢數據特征的特征距離，調整所述神經網絡模型中部分層的參數，包括：根據所述每一類的類中心特征與所述查詢數據特征的特征距離，以及每一類的第一訓練數據的特征之間的特征距離的平均值，調整所述部分層的參數。

中心損失表示每一類的類中心特征與所述查詢數據特征的特征距離。在神經網絡模型的訓練過程中，引入中心損失，可以提高神經網絡模型訓練的效率，提高神經網絡模型的精度。