[發明專利]一種模型訓練方法及相關設備

在審

• 申請號: 202110441864.7
• 申請日: 2021-04-23
• 公開（公告）號: CN113191241A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 洪藍青;魯齊正秋;胡海林;胡大鵬;李震國
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06N3/04;G06F40/30
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 聶秀娜

本申請實施例提供了一種模型訓練方法，應用于人工智能領域，方法包括：獲取第一神經網絡模型以及M批batch訓練樣本，M為大于1的正整數；根據M批batch訓練樣本中各批batch訓練樣本之間的樣本分布特征，確定目標增量訓練方法，其中，樣本分布特征與基于各批batch訓練樣本進行增量訓練時模型所產生的災難性遺忘的程度有關，目標增量訓練方法用于在對模型進行增量訓練時實現抗災難性遺忘；根據M批batch訓練樣本，通過目標增量訓練方法，對第一神經網絡模型進行自監督訓練，以得到第二神經網絡模型。本申請在降低訓練時長并節約數據存儲空間的前提下，實現了效率與性能之間的平衡。

技術領域

本申請涉及人工智能領域，尤其涉及一種模型訓練方法及相關設備。

背景技術

人工智能(artificial intelligence，AI)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。換句話說，人工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式作出反應的智能機器。人工智能也就是研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。

在現有的計算機視覺和自然語言處理任務中，首先利用大數據進行表征學習預訓練(pre-train)，再在遷移至特定數據集上進行訓練(fine-tune)已經成為通行范式。利用自監督方法進行預訓練可以解決表征學習對于人工標注的依賴；然而，目前的自監督學習方法仍然需要將所有的數據進行聯合訓練(joint training，JT)，使得數據儲存和算力成為限制自監督表征學習的突出因素。

增量學習的能力就是能夠不斷地處理現實世界中連續的信息流，在吸收新知識的同時保留甚至整合、優化舊知識的能力。具體來講，增量學習(sequential training,ST)是指在連續的數據流中訓練模型，隨著時間的推移，更多的數據逐漸可用，同時舊數據可能由于存儲限制或隱私保護等原因而逐漸不可用，并且學習任務的類型和數量沒有預定義(例如分類任務中的類別數)。相比于聯合訓練，增量訓練可顯著節約計算和存儲資源，但是可能由于災難性遺忘而導致模型性能下降。

發明內容

第一方面，本申請提供了一種模型訓練方法，所述方法包括：

獲取第一神經網絡模型以及M批batch訓練樣本，所述M為大于1的正整數；

其中，所述第一神經網絡模型可以為預訓練模型或者對所述預訓練模型進行微調后得到的；

其中，M批batch訓練樣本中的每批batch訓練樣本用于作為對第一神經網絡進行一批batch模型訓練所需的訓練樣本，進而M批batch訓練樣本用于作為對第一神經網絡進行M批batch模型訓練所需的訓練樣本；

其中，M批batch訓練樣本可以為圖像數據、文本數據或者音頻數據，這里并不限定；

根據所述M批batch訓練樣本中各批batch訓練樣本之間的樣本分布特征，確定目標增量訓練方法，其中，所述樣本分布特征與基于所述各批batch訓練樣本進行增量訓練時模型所產生的災難性遺忘的程度有關，所述目標增量訓練方法用于在對模型進行增量訓練時實現抗災難性遺忘；

災難性遺忘可以指模型學習了新的知識之后，會遺忘掉之前習得的知識。在一個已經訓練好的模型中，訓練新的任務，之后測試舊的任務，舊任務的準確率會比學習新任務前降低很多。隨著任務數量的增加，舊任務的準確率會逐漸降低，即遺忘現象。所以，需要盡可能地在原有模型的基礎上，以盡可能小的代價與成本解決災難性遺忘問題；

其中，各批batch訓練樣本之間的樣本分布特征可以包括樣本增量、隨機類別增量、語義差異類別增量和風格轉變；

根據所述M批batch訓練樣本，通過所述目標增量訓練方法，對所述第一神經網絡模型進行自監督訓練，以得到第二神經網絡模型。