[發(fā)明專利]網(wǎng)絡(luò)模型的訓(xùn)練方法、數(shù)據(jù)處理方法、裝置、介質(zhì)及設(shè)備

在審

• 申請?zhí)枺?/td>: 202110220979.3
• 申請日: 2021-02-26
• 公開（公告）號: CN112819099A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計）人: 崔若璇;魏凱峰;李雨珂;楊衛(wèi)強;朱浩齊
• 申請（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 孫寶海;闞梓瑄

1.一種網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，所述方法包括：

獲取目標(biāo)任務(wù)所在領(lǐng)域的通用數(shù)據(jù)和所述目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)，其中，所述訓(xùn)練數(shù)據(jù)包括無標(biāo)簽數(shù)據(jù)和有標(biāo)簽數(shù)據(jù)；

將所述通用數(shù)據(jù)分別輸入第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)進行無監(jiān)督訓(xùn)練；

分別采用無監(jiān)督訓(xùn)練后的所述第一網(wǎng)絡(luò)和無監(jiān)督訓(xùn)練后的所述第二網(wǎng)絡(luò)對所述無標(biāo)簽數(shù)據(jù)進行無監(jiān)督訓(xùn)練，以生成第一訓(xùn)練網(wǎng)絡(luò)和第二訓(xùn)練網(wǎng)絡(luò)；

根據(jù)所述有標(biāo)簽數(shù)據(jù)中的標(biāo)簽數(shù)據(jù)對所述第一訓(xùn)練網(wǎng)絡(luò)進行監(jiān)督訓(xùn)練，并通過監(jiān)督訓(xùn)練后的所述第一訓(xùn)練網(wǎng)絡(luò)對所述無標(biāo)簽數(shù)據(jù)進行預(yù)測，生成所述無標(biāo)簽數(shù)據(jù)的偽標(biāo)簽數(shù)據(jù)；

基于所述第二訓(xùn)練網(wǎng)絡(luò)，對所述偽標(biāo)簽數(shù)據(jù)進行監(jiān)督訓(xùn)練，生成所述目標(biāo)任務(wù)的目標(biāo)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述通用數(shù)據(jù)分別輸入第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)進行無監(jiān)督訓(xùn)練，包括：

分別通過所述第一網(wǎng)絡(luò)和所述第二網(wǎng)絡(luò)對所述通用數(shù)據(jù)進行無監(jiān)督訓(xùn)練，得到所述第一網(wǎng)絡(luò)的第一網(wǎng)絡(luò)原始參數(shù)和所述第二網(wǎng)絡(luò)的第二網(wǎng)絡(luò)原始參數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述分別采用無監(jiān)督訓(xùn)練后的所述第一網(wǎng)絡(luò)和無監(jiān)督訓(xùn)練后的所述第二網(wǎng)絡(luò)對所述無標(biāo)簽數(shù)據(jù)進行無監(jiān)督訓(xùn)練，以生成第一訓(xùn)練網(wǎng)絡(luò)和第二訓(xùn)練網(wǎng)絡(luò)，包括：

以所述第一網(wǎng)絡(luò)原始參數(shù)為初始參數(shù)，采用所述第一網(wǎng)絡(luò)對所述無標(biāo)簽數(shù)據(jù)進行無監(jiān)督訓(xùn)練，確定所述第一網(wǎng)絡(luò)的第一網(wǎng)絡(luò)更新參數(shù)，以生成所述第一訓(xùn)練網(wǎng)絡(luò)；

以所述第二網(wǎng)絡(luò)原始參數(shù)為初始參數(shù)，采用所述第二網(wǎng)絡(luò)對所述無標(biāo)簽數(shù)據(jù)進行無監(jiān)督訓(xùn)練，確定所述第二網(wǎng)絡(luò)的第二網(wǎng)絡(luò)更新參數(shù)，以生成所述第二訓(xùn)練網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在根據(jù)所述有標(biāo)簽數(shù)據(jù)中的標(biāo)簽數(shù)據(jù)對所述第一訓(xùn)練網(wǎng)絡(luò)進行監(jiān)督訓(xùn)練時，所述方法包括：

將所述有標(biāo)簽數(shù)據(jù)輸入至所述第一訓(xùn)練網(wǎng)絡(luò)，以更新所述第一網(wǎng)絡(luò)的第一網(wǎng)絡(luò)更新參數(shù)，得到所述第一網(wǎng)絡(luò)的第一網(wǎng)絡(luò)訓(xùn)練參數(shù)；

所述通過監(jiān)督訓(xùn)練后的所述第一訓(xùn)練網(wǎng)絡(luò)對所述無標(biāo)簽數(shù)據(jù)進行預(yù)測，生成所述無標(biāo)簽數(shù)據(jù)的偽標(biāo)簽數(shù)據(jù)，包括：

以所述第一網(wǎng)絡(luò)訓(xùn)練參數(shù)為初始參數(shù)，采用所述第一網(wǎng)絡(luò)對所述無標(biāo)簽數(shù)據(jù)進行預(yù)測，生成所述偽標(biāo)簽數(shù)據(jù)。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述第二訓(xùn)練網(wǎng)絡(luò)，對所述偽標(biāo)簽數(shù)據(jù)進行監(jiān)督訓(xùn)練，生成所述目標(biāo)任務(wù)的目標(biāo)網(wǎng)絡(luò)模型，包括：

以所述第二網(wǎng)絡(luò)更新參數(shù)為初始參數(shù)，對所述偽標(biāo)簽數(shù)據(jù)進行監(jiān)督訓(xùn)練，以生成所述目標(biāo)網(wǎng)絡(luò)模型。

6.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

獲取待處理數(shù)據(jù)；

采用訓(xùn)練后的目標(biāo)網(wǎng)絡(luò)模型，對所述待處理數(shù)據(jù)進行分類處理，得到所述待處理數(shù)據(jù)的分類結(jié)果；

其中，所述訓(xùn)練后的目標(biāo)網(wǎng)絡(luò)模型為采用如權(quán)利要求1-5任意一項所述的網(wǎng)絡(luò)模型的訓(xùn)練方法獲得的目標(biāo)網(wǎng)絡(luò)模型。

7.一種網(wǎng)絡(luò)模型的訓(xùn)練裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取目標(biāo)任務(wù)所在領(lǐng)域的通用數(shù)據(jù)和所述目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)，其中，所述訓(xùn)練數(shù)據(jù)包括無標(biāo)簽數(shù)據(jù)和有標(biāo)簽數(shù)據(jù)；

第一訓(xùn)練模塊，用于將所述通用數(shù)據(jù)分別輸入第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)進行無監(jiān)督訓(xùn)練；

第二訓(xùn)練模塊，用于分別采用無監(jiān)督訓(xùn)練后的所述第一網(wǎng)絡(luò)和無監(jiān)督訓(xùn)練后的所述第二網(wǎng)絡(luò)對所述無標(biāo)簽數(shù)據(jù)進行無監(jiān)督訓(xùn)練，以生成第一訓(xùn)練網(wǎng)絡(luò)和第二訓(xùn)練網(wǎng)絡(luò)；

第三訓(xùn)練模塊，用于根據(jù)所述有標(biāo)簽數(shù)據(jù)中的標(biāo)簽數(shù)據(jù)對所述第一訓(xùn)練網(wǎng)絡(luò)進行監(jiān)督訓(xùn)練，并通過監(jiān)督訓(xùn)練后的所述第一訓(xùn)練網(wǎng)絡(luò)對所述無標(biāo)簽數(shù)據(jù)進行預(yù)測，生成所述無標(biāo)簽數(shù)據(jù)的偽標(biāo)簽數(shù)據(jù)；

生成模塊，用于基于所述第二訓(xùn)練網(wǎng)絡(luò)，對所述偽標(biāo)簽數(shù)據(jù)進行監(jiān)督訓(xùn)練，生成所述目標(biāo)任務(wù)的目標(biāo)網(wǎng)絡(luò)模型。