[發(fā)明專利]增量訓(xùn)練方法和相關(guān)產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202110218116.2
• 申請(qǐng)日: 2021-02-26
• 公開（公告）號(hào): CN112766501A
• 公開（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 費(fèi)馳;朱烽;趙瑞
• 申請(qǐng)（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);董文俊

本申請(qǐng)實(shí)施例公開了一種增量訓(xùn)練方法和相關(guān)產(chǎn)品，應(yīng)用于兩輪或兩輪以上的增量訓(xùn)練場(chǎng)景，該方法包括：獲取第N輪記憶數(shù)據(jù)；所述第N輪記憶數(shù)據(jù)基于第(N?1)輪增量訓(xùn)練采用的第(N?1)增量數(shù)據(jù)和第(N?1)輪記憶數(shù)據(jù)得到，或者，所述第N輪記憶數(shù)據(jù)基于所述第(N?1)增量數(shù)據(jù)得到，所述N為大于2的整數(shù)；使用第N增量數(shù)據(jù)以及所述第N輪記憶數(shù)據(jù)對(duì)第(N?1)神經(jīng)網(wǎng)絡(luò)進(jìn)行第N輪增量訓(xùn)練，得到第N神經(jīng)網(wǎng)絡(luò)；所述第(N?1)神經(jīng)網(wǎng)絡(luò)為使用所述第(N?1)增量數(shù)據(jù)以及所述第(N?1)輪記憶數(shù)據(jù)進(jìn)行第(N?1)輪增量訓(xùn)練得到；既能充分利用新的訓(xùn)練數(shù)據(jù)，又能保留之前的部分訓(xùn)練成果，并提升訓(xùn)練效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及模型訓(xùn)練領(lǐng)域，尤其涉及一種增量訓(xùn)練方法和相關(guān)產(chǎn)品。

背景技術(shù)

隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，人工智能已經(jīng)成為了計(jì)算機(jī)視覺領(lǐng)域被研究的最多的方向之一，具有重大的研究?jī)r(jià)值和非常廣闊的應(yīng)用前景。目前人工智能技術(shù)(例如人臉識(shí)別技術(shù))被廣泛地用于安防、醫(yī)療、金融等諸多領(lǐng)域，為平安城市的建設(shè)起到了積極的促進(jìn)作用。

人工智能技術(shù)的應(yīng)用通常需要使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)來執(zhí)行各種預(yù)測(cè)處理任務(wù)，例如目標(biāo)檢測(cè)任務(wù)、人臉識(shí)別任務(wù)等。因此，高效地訓(xùn)練得到性能較好的各種神經(jīng)網(wǎng)絡(luò)是目前急需解決的問題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例公開了一種增量訓(xùn)練方法和相關(guān)產(chǎn)品，能夠高效地訓(xùn)練得到性能較好的各種神經(jīng)網(wǎng)絡(luò)。

第一方面，本申請(qǐng)實(shí)施例提供的一種增量訓(xùn)練方法，該方法包括：獲取第N輪記憶數(shù)據(jù)；所述第N輪記憶數(shù)據(jù)基于第(N-1)輪增量訓(xùn)練采用的第(N-1)增量數(shù)據(jù)和第(N-1)輪記憶數(shù)據(jù)得到，或者，所述第N輪記憶數(shù)據(jù)基于所述第(N-1)增量數(shù)據(jù)得到，所述N為大于2的整數(shù)；使用第N增量數(shù)據(jù)以及所述第N輪記憶數(shù)據(jù)對(duì)第(N-1)神經(jīng)網(wǎng)絡(luò)進(jìn)行第N輪增量訓(xùn)練，得到第N神經(jīng)網(wǎng)絡(luò)；所述第(N-1)神經(jīng)網(wǎng)絡(luò)為使用所述第(N-1)增量數(shù)據(jù)以及所述第(N-1)輪記憶數(shù)據(jù)進(jìn)行第(N-1)輪增量訓(xùn)練得到，所述第N增量數(shù)據(jù)和所述第(N-1)增量數(shù)據(jù)不同。

本申請(qǐng)實(shí)施例的執(zhí)行主體為訓(xùn)練裝置，該訓(xùn)練裝置可以是臺(tái)式電腦、筆記本電腦等具備數(shù)據(jù)處理能力的終端設(shè)備，也可以是服務(wù)器。所述第N輪記憶數(shù)據(jù)、所述第(N-1)增量數(shù)據(jù)以及所述第(N-1)輪記憶數(shù)據(jù)均可以為圖像數(shù)據(jù)，例如抓拍照?qǐng)D像。一種可能的訓(xùn)練流程如下：采用第一增量數(shù)據(jù)對(duì)原始神經(jīng)網(wǎng)絡(luò)進(jìn)行第一輪增量訓(xùn)練，得到第一神經(jīng)網(wǎng)絡(luò)；采用第二增量數(shù)據(jù)以及第二輪記憶數(shù)據(jù)對(duì)第一神經(jīng)網(wǎng)絡(luò)進(jìn)行第二輪增量訓(xùn)練，得到第二神經(jīng)網(wǎng)絡(luò)，其中，該第二輪記憶數(shù)據(jù)包含于第一增量數(shù)據(jù)；采用第三增量數(shù)據(jù)以及第三輪記憶數(shù)據(jù)對(duì)第二神經(jīng)網(wǎng)絡(luò)進(jìn)行第三輪增量訓(xùn)練，得到第三神經(jīng)網(wǎng)絡(luò)，其中，該第三輪記憶數(shù)據(jù)包含于第二增量數(shù)據(jù)或者該第三輪記憶數(shù)據(jù)的一部分包含于第二增量數(shù)據(jù)，另一部分包含于第二輪記憶數(shù)據(jù)；以此類推。本申請(qǐng)中，第(N-1)增量數(shù)據(jù)是指第(N-1)輪增量訓(xùn)練時(shí)新增的數(shù)據(jù)，第N增量數(shù)據(jù)是指第N輪增量訓(xùn)練時(shí)新增的數(shù)據(jù)；第N輪記憶數(shù)據(jù)可以是從第(N-1)增量數(shù)據(jù)和第(N-1)輪記憶數(shù)據(jù)的數(shù)據(jù)集合中篩選出的數(shù)據(jù)，也可以是從第(N-1)增量數(shù)據(jù)中篩選出的數(shù)據(jù)。

在實(shí)際應(yīng)用中，訓(xùn)練數(shù)據(jù)的采集往往是一個(gè)逐漸累積的過程，如果等到所有的數(shù)據(jù)都收集完成才進(jìn)行模型的訓(xùn)練無疑會(huì)帶來時(shí)間的浪費(fèi)。本申請(qǐng)實(shí)施例中，通過多輪增量訓(xùn)練的方式可以減少時(shí)間的浪費(fèi)。第N增量數(shù)據(jù)是指第N輪增量訓(xùn)練時(shí)新增的數(shù)據(jù)，第N輪記憶數(shù)據(jù)可理解為從已參與過訓(xùn)練的數(shù)據(jù)中篩選出的數(shù)據(jù)，使用這兩種數(shù)據(jù)獨(dú)立的對(duì)第(N-1)神經(jīng)網(wǎng)絡(luò)進(jìn)行第N輪增量訓(xùn)練，既能充分利用新的訓(xùn)練數(shù)據(jù)，又能保留之前的部分訓(xùn)練成果，并提升訓(xùn)練效果。

本申請(qǐng)實(shí)施例中，使用第N增量數(shù)據(jù)以及第N輪記憶數(shù)據(jù)對(duì)第(N-1)神經(jīng)網(wǎng)絡(luò)進(jìn)行第N輪增量訓(xùn)練，既能充分利用新的訓(xùn)練數(shù)據(jù)，又能保留之前的部分訓(xùn)練成果，并提升訓(xùn)練效果。