[發(fā)明專利]一種模型訓(xùn)練方法和相關(guān)裝置

在審

• 申請?zhí)枺?/td>: 202210427939.0
• 申請日: 2022-04-22
• 公開（公告）號: CN115114927A
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 弓靜
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 林志鵬

1.一種模型訓(xùn)練方法，其特征在于，所述方法包括：

確定待訓(xùn)練模型包括的m個(gè)張量與n個(gè)并行進(jìn)程之間的對應(yīng)關(guān)系；其中，所述m個(gè)張量包括在n個(gè)張量集合中，每個(gè)張量集合包括所述m個(gè)張量中的部分張量，所述n個(gè)張量集合與所述n個(gè)并行進(jìn)程的對應(yīng)關(guān)系為一一對應(yīng)關(guān)系，所述張量為所述待訓(xùn)練模型包括的多層網(wǎng)絡(luò)的輸入和輸出，m和n為大于1的整數(shù)；

針對所述n個(gè)并行進(jìn)程中的目標(biāo)并行進(jìn)程，基于與所述目標(biāo)并行進(jìn)程具有對應(yīng)關(guān)系的目標(biāo)張量集合更新所述待訓(xùn)練模型的參數(shù)；

根據(jù)更新后的參數(shù)訓(xùn)練所述待訓(xùn)練模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于與所述目標(biāo)并行進(jìn)程具有對應(yīng)關(guān)系的目標(biāo)張量集合更新所述待訓(xùn)練模型的參數(shù)，包括：

基于與所述目標(biāo)并行進(jìn)程具有對應(yīng)關(guān)系的目標(biāo)張量集合進(jìn)行第i次前向傳播和第i次反向傳播；

根據(jù)所述多個(gè)并行進(jìn)程在所述第i次反向傳播過程中得到的針對所述目標(biāo)張量集合所包括的目標(biāo)張量的多個(gè)梯度，確定針對所述目標(biāo)張量的規(guī)約梯度；

根據(jù)所述規(guī)約梯度更新所述待訓(xùn)練模型的參數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述規(guī)約梯度更新所述待訓(xùn)練模型的參數(shù)，包括：

調(diào)用自適應(yīng)矩估計(jì)優(yōu)化器更新所述規(guī)約梯度對應(yīng)的目標(biāo)參數(shù)；

根據(jù)所述目標(biāo)參數(shù)獲取所述待訓(xùn)練模型更新后的參數(shù)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述多個(gè)并行進(jìn)程在所述第i次反向傳播過程中得到的針對所述目標(biāo)張量集合所包括的目標(biāo)張量的多個(gè)梯度，確定針對所述目標(biāo)張量的規(guī)約梯度，包括：

獲取所述多個(gè)并行進(jìn)程在所述第i次反向傳播過程中得到的針對所述目標(biāo)張量集合所包括的目標(biāo)張量的多個(gè)梯度；

根據(jù)所述多個(gè)梯度的梯度總和與梯度數(shù)量，確定針對所述目標(biāo)張量的規(guī)約梯度。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定待訓(xùn)練模型包括的m個(gè)張量與n個(gè)并行進(jìn)程之間的對應(yīng)關(guān)系，包括：

確定待訓(xùn)練模型包括的m個(gè)張量的元素總數(shù)；

根據(jù)所述元素總數(shù)將所述m個(gè)張量劃分為n個(gè)張量集合；

確定所述n個(gè)張量集合與n個(gè)并行進(jìn)程之間的一一對應(yīng)關(guān)系。

6.根據(jù)權(quán)利要求1-5任意一項(xiàng)所述的方法，其特征在于，所述方法還包括；

在更新所述待訓(xùn)練模型的參數(shù)的過程中，所述目標(biāo)并行進(jìn)程更新其他待訓(xùn)練模型的參數(shù)，所述其他待訓(xùn)練模型為與所述待訓(xùn)練模型不同的模型。

7.一種模型訓(xùn)練裝置，其特征在于，所述裝置包括：確定單元、更新單元和訓(xùn)練單元；

所述確定單元，用于待訓(xùn)練模型包括的m個(gè)張量與n個(gè)并行進(jìn)程之間的對應(yīng)關(guān)系；其中，所述m個(gè)張量包括在n個(gè)張量集合中，每個(gè)張量集合包括所述m個(gè)張量中的部分張量，所述n個(gè)張量集合與所述n個(gè)并行進(jìn)程的對應(yīng)關(guān)系為一一對應(yīng)關(guān)系，所述張量為所述待訓(xùn)練模型包括的多層網(wǎng)絡(luò)的輸入和輸出，m和n為大于1的整數(shù)；

所述更新單元，用于針對所述n個(gè)并行進(jìn)程中的目標(biāo)并行進(jìn)程，基于與所述目標(biāo)并行進(jìn)程具有對應(yīng)關(guān)系的目標(biāo)張量集合更新所述待訓(xùn)練模型的參數(shù)；

所述訓(xùn)練單元，用于根據(jù)更新后的參數(shù)訓(xùn)練所述待訓(xùn)練模型。

8.一種計(jì)算機(jī)設(shè)備，其特征在于，所述設(shè)備包括處理器以及存儲器：

所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；

所述處理器用于根據(jù)所述程序代碼中的指令執(zhí)行權(quán)利要求1-6任意一項(xiàng)所述的方法。

9.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)用于存儲計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于執(zhí)行權(quán)利要求1-6任意一項(xiàng)所述的方法。

10.一種包括指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行權(quán)利要求1-6任意一項(xiàng)所述的方法。