[發明專利]一種用于神經網絡的訓練方法以及相關設備

在審

• 申請號: 202010680648.3
• 申請日: 2020-07-15
• 公開（公告）號: CN111950596A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 葉翰嘉;洪藍青;楊擴
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 李杭

本申請涉及人工智能領域中的元學習技術，公開了一種用于神經網絡的訓練方法以及相關設備。方法包括：將第一樣本子集合輸入第一神經網絡，生成第一查詢樣本的第一特征信息和第一預測結果，根據與樣本集合包括的M組支持樣本對應的第二特征信息、第一標注結果和第一特征信息，生成第一查詢樣本的第二預測結果，對第一神經網絡進行訓練；第一損失函數指示第一預測結果和第二標注結果之間的相似度，第二損失函數指示第一預測結果與第二預測結果之間的相似度，或指示第二預測結果和第二標注結果之間的相似度。同時學習一個小樣本任務中不同樣本在特征維度的區別以及多個小樣本任務對應的多個類別的樣本在特征維度的區別，提高預測結果的精度。

技術領域

本申請涉及人工智能領域，尤其涉及一種用于神經網絡的訓練方法以及相關設備。

背景技術

人工智能(Artificial Intelligence，AI)是利用計算機或者計算機控制的機器模擬、延伸和擴展人的智能。人工智能包括研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。目前，對基于深度學習的神經網絡進行小樣本學習(few-shot learning)是人工智能一種可行的研究方向。

元學習(meta-learning)是小樣本學習研究中的一個重要的分支。元學習的主要思想是當目標任務的訓練樣本較少時，通過使用大量與目標小樣本任務相似的小樣本任務來訓練神經網絡，以使訓練后的神經網絡在目標任務上有著不錯的初始值，然后利用少量的目標小樣本任務的訓練樣本對訓練后的神經網絡進行調整。

但最后得到的神經網絡輸出的預測結果的精度依舊較低，因此，一種在采用元學習的方式進行訓練的前提下，能夠提高神經網絡輸出的預測結果的精度的訓練方案亟待推出。

發明內容

本申請實施例提供了一種用于神經網絡的訓練方法以及相關設備，在一個小樣本任務的訓練過程中不僅學習到一個小樣本任務中支持樣本的特征，而且學習到M組支持樣本的特征，也即神經網絡在一個小樣本學習中不僅能夠學習到一個小樣本任務內的相對關系，而且能夠學習到多個小樣本任務之間的絕對關系，從而提高輸出的預測結果的精度。

為解決上述技術問題，本申請實施例提供以下技術方案：

第一方面，本申請實施例提供一種神經網絡的訓練方法，可用于人工智能領域的元學習領域中。方法包括：訓練設備從樣本集合中獲取第一樣本子集合，樣本集合包括M組支持樣本和M組查詢樣本，第一樣本子集合包括第一支持樣本和第一查詢樣本；訓練設備還獲取每個第一支持樣本的標注結果。訓練設備將第一樣本子集合和每個第一支持樣本的標注結果輸入至第一神經網絡，第一神經網絡生成第一查詢樣本的第一特征信息，并得到第一神經網絡輸出的與第一查詢樣本對應的第一預測結果，第一預測結果為根據第一支持樣本的特征信息和第一特征信息之間的相似度以及每個第一支持樣本的標注結果生成的。訓練設備根據與M組支持樣本對應的M個第二特征信息、與M組支持樣本對應的M個第一標注結果和第一查詢樣本的第一特征信息，生成與第一查詢樣本對應的第二預測結果。M個第二特征信息中的每一個均指示M組支持樣本中一組支持樣本的特征，M個第一標注結果中的每一個均指示與M組支持樣本中一組支持樣本對應的正確結果。訓練設備根據第一損失函數和第二損失函數，對第一神經網絡進行迭代訓練，直至滿足預設條件。其中，第一損失函數指示第一預測結果和第二標注結果之間的相似度，第二損失函數指示第一預測結果與第二預測結果之間的相似度，或者，第二損失函數指示第二預測結果和第二標注結果之間的相似度，第二標注結果為第一查詢樣本的正確結果。第一損失函數和第二損失函數均可以為交叉熵損失函數或相對熵損失函數。