[發(fā)明專利]網(wǎng)絡模型的訓練方法、數(shù)據(jù)處理方法、裝置、介質(zhì)及設備

在審

• 申請?zhí)枺?/td>: 202110220979.3
• 申請日: 2021-02-26
• 公開（公告）號: CN112819099A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設計）人: 崔若璇;魏凱峰;李雨珂;楊衛(wèi)強;朱浩齊
• 申請（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 孫寶海;闞梓瑄

本公開涉及網(wǎng)絡模型的訓練方法及裝置、數(shù)據(jù)處理方法及裝置、存儲介質(zhì)及電子設備，涉及人工智能技術(shù)領(lǐng)域。包括：獲取目標任務所在領(lǐng)域的通用數(shù)據(jù)和目標任務的訓練數(shù)據(jù)，該訓練數(shù)據(jù)包括無標簽數(shù)據(jù)和有標簽數(shù)據(jù)；將通用數(shù)據(jù)分別輸入第一網(wǎng)絡和第二網(wǎng)絡進行無監(jiān)督訓練；分別采用無監(jiān)督訓練后的第一網(wǎng)絡和無監(jiān)督訓練后的第二網(wǎng)絡對無標簽數(shù)據(jù)進行無監(jiān)督訓練，以生成第一訓練網(wǎng)絡和第二訓練網(wǎng)絡；根據(jù)有標簽數(shù)據(jù)中的標簽數(shù)據(jù)對第一訓練網(wǎng)絡進行監(jiān)督訓練，并通過監(jiān)督訓練后的第一訓練網(wǎng)絡對無標簽數(shù)據(jù)進行預測，生成無標簽數(shù)據(jù)的偽標簽數(shù)據(jù)；基于第二訓練網(wǎng)絡，對偽標簽數(shù)據(jù)進行監(jiān)督訓練，生成目標任務的目標網(wǎng)絡模型。本發(fā)明提高了網(wǎng)絡模型的性能。

技術(shù)領(lǐng)域

本發(fā)明的實施方式涉及人工智能技術(shù)領(lǐng)域，更具體地，本發(fā)明的實施方式涉及一種網(wǎng)絡模型的訓練方法、數(shù)據(jù)處理方法、網(wǎng)絡模型的訓練裝置、數(shù)據(jù)處理裝置、計算機可讀存儲介質(zhì)及電子設備。

背景技術(shù)

本部分旨在為權(quán)利要求中陳述的本發(fā)明的實施方式提供背景或上下文，此處的描述不因為包括在本部分中就承認是現(xiàn)有技術(shù)。

隨著深度學習技術(shù)的不斷進步和計算機算力的不斷提升，數(shù)據(jù)分類技術(shù)在各個領(lǐng)域，如語音分析、圖像識別、自然語言處理等技術(shù)領(lǐng)域中均取得了巨大的進展。以圖像識別技術(shù)領(lǐng)域為例，一般可以使用大規(guī)模的帶有標簽數(shù)據(jù)的訓練樣本作為訓練集，應用相應的神經(jīng)網(wǎng)絡來訓練分類器，使其可以學習圖像的全局或局部特征，將該全局或局部特征與已經(jīng)學習的特征進行比對，確定每個圖像中對象的類別。

發(fā)明內(nèi)容

然而，現(xiàn)有的數(shù)據(jù)分類技術(shù)依賴于人為標注的標簽數(shù)據(jù)，不僅需要耗費較高的人力成本，而且受限于標簽數(shù)據(jù)的準確性和數(shù)據(jù)規(guī)模等因素，網(wǎng)絡模型往往存在模型泛化性能不足、模型過擬合等問題，嚴重影響了網(wǎng)絡模型的訓練效果。

為此，非常需要一種網(wǎng)絡模型的訓練方法，以提高網(wǎng)絡模型的泛化性能。

在本上下文中，本發(fā)明的實施方式期望提供一種網(wǎng)絡模型的訓練方法、數(shù)據(jù)處理方法、網(wǎng)絡模型的訓練裝置、數(shù)據(jù)處理裝置、計算機可讀存儲介質(zhì)及電子設備。

根據(jù)本發(fā)明實施方式的第一方面，提供一種網(wǎng)絡模型的訓練方法，包括：獲取目標任務所在領(lǐng)域的通用數(shù)據(jù)和所述目標任務的訓練數(shù)據(jù)，其中，所述訓練數(shù)據(jù)包括無標簽數(shù)據(jù)和有標簽數(shù)據(jù)；將所述通用數(shù)據(jù)分別輸入第一網(wǎng)絡和第二網(wǎng)絡進行無監(jiān)督訓練；分別采用無監(jiān)督訓練后的所述第一網(wǎng)絡和無監(jiān)督訓練后的所述第二網(wǎng)絡對所述無標簽數(shù)據(jù)進行無監(jiān)督訓練，以生成第一訓練網(wǎng)絡和第二訓練網(wǎng)絡；根據(jù)所述有標簽數(shù)據(jù)中的標簽數(shù)據(jù)對所述第一訓練網(wǎng)絡進行監(jiān)督訓練，并通過監(jiān)督訓練后的所述第一訓練網(wǎng)絡對所述無標簽數(shù)據(jù)進行預測，生成所述無標簽數(shù)據(jù)的偽標簽數(shù)據(jù)；基于所述第二訓練網(wǎng)絡，對所述偽標簽數(shù)據(jù)進行監(jiān)督訓練，生成所述目標任務的目標網(wǎng)絡模型。

在一種可選的實施方式中，所述將所述通用數(shù)據(jù)分別輸入第一網(wǎng)絡和第二網(wǎng)絡進行無監(jiān)督訓練，包括：分別通過所述第一網(wǎng)絡和所述第二網(wǎng)絡對所述通用數(shù)據(jù)進行無監(jiān)督訓練，得到所述第一網(wǎng)絡的第一網(wǎng)絡原始參數(shù)和所述第二網(wǎng)絡的第二網(wǎng)絡原始參數(shù)。

在一種可選的實施方式中，所述分別采用無監(jiān)督訓練后的所述第一網(wǎng)絡和無監(jiān)督訓練后的所述第二網(wǎng)絡對所述無標簽數(shù)據(jù)進行無監(jiān)督訓練，以生成第一訓練網(wǎng)絡和第二訓練網(wǎng)絡，包括：以所述第一網(wǎng)絡原始參數(shù)為初始參數(shù)，采用所述第一網(wǎng)絡對所述無標簽數(shù)據(jù)進行無監(jiān)督訓練，確定所述第一網(wǎng)絡的第一網(wǎng)絡更新參數(shù)，以生成所述第一訓練網(wǎng)絡；以所述第二網(wǎng)絡原始參數(shù)為初始參數(shù)，采用所述第二網(wǎng)絡對所述無標簽數(shù)據(jù)進行無監(jiān)督訓練，確定所述第二網(wǎng)絡的第二網(wǎng)絡更新參數(shù)，以生成所述第二訓練網(wǎng)絡。

在一種可選的實施方式中，在根據(jù)所述有標簽數(shù)據(jù)中的標簽數(shù)據(jù)對所述第一訓練網(wǎng)絡進行監(jiān)督訓練時，所述方法包括：將所述有標簽數(shù)據(jù)輸入至所述第一訓練網(wǎng)絡，以更新所述第一網(wǎng)絡的第一網(wǎng)絡更新參數(shù)，得到所述第一網(wǎng)絡的第一網(wǎng)絡訓練參數(shù)；所述通過監(jiān)督訓練后的所述第一訓練網(wǎng)絡對所述無標簽數(shù)據(jù)進行預測，生成所述無標簽數(shù)據(jù)的偽標簽數(shù)據(jù)，包括：以所述第一網(wǎng)絡訓練參數(shù)為初始參數(shù)，采用所述第一網(wǎng)絡對所述無標簽數(shù)據(jù)進行預測，生成所述偽標簽數(shù)據(jù)。