[發(fā)明專(zhuān)利]一種基于分布式數(shù)據(jù)的多任務(wù)模型訓(xùn)練方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010849745.0
• 申請(qǐng)日: 2020-08-21
• 公開(kāi)（公告）號(hào): CN111813869B
• 公開(kāi)（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 方偉琪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/27
• 分類(lèi)號(hào): G06F16/27;G06Q40/02
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 周嗣勇

1.一種基于分布式數(shù)據(jù)的多任務(wù)模型訓(xùn)練方法，應(yīng)用于包括訓(xùn)練節(jié)點(diǎn)和至少2個(gè)數(shù)據(jù)節(jié)點(diǎn)的系統(tǒng)，不同數(shù)據(jù)節(jié)點(diǎn)本地存儲(chǔ)有相同特征的樣本和相同的通用模型，訓(xùn)練節(jié)點(diǎn)存儲(chǔ)有該通用模型；訓(xùn)練節(jié)點(diǎn)用于執(zhí)行至少2種任務(wù)，不同任務(wù)使用具有不同標(biāo)簽類(lèi)型的樣本對(duì)通用模型進(jìn)行訓(xùn)練，得到不同的模型，每種類(lèi)型的標(biāo)簽對(duì)應(yīng)一種業(yè)務(wù)含義；所述方法包括：

循環(huán)執(zhí)行以下聯(lián)合訓(xùn)練步驟，直到滿(mǎn)足循環(huán)停止條件：

針對(duì)任一任務(wù)，訓(xùn)練節(jié)點(diǎn)確定存儲(chǔ)有該任務(wù)對(duì)應(yīng)的標(biāo)簽類(lèi)型的樣本的數(shù)據(jù)節(jié)點(diǎn)為目標(biāo)數(shù)據(jù)節(jié)點(diǎn)；對(duì)目標(biāo)數(shù)據(jù)節(jié)點(diǎn)當(dāng)前的本地模型進(jìn)行獨(dú)立訓(xùn)練，基于獨(dú)立訓(xùn)練后的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)本地模型損失函數(shù)的梯度確定該任務(wù)的梯度；

訓(xùn)練節(jié)點(diǎn)對(duì)多個(gè)任務(wù)的梯度進(jìn)行匯總，并利用梯度匯總結(jié)果更新訓(xùn)練節(jié)點(diǎn)當(dāng)前的本地模型參數(shù)集；

訓(xùn)練節(jié)點(diǎn)向所述系統(tǒng)中的數(shù)據(jù)節(jié)點(diǎn)下發(fā)當(dāng)前的本地模型參數(shù)集，以使所述系統(tǒng)中每個(gè)數(shù)據(jù)節(jié)點(diǎn)基于接收到的模型參數(shù)集更新本地模型；

循環(huán)停止后，將訓(xùn)練節(jié)點(diǎn)當(dāng)前的本地模型參數(shù)集確定為聯(lián)合訓(xùn)練結(jié)果；

針對(duì)任一任務(wù)，訓(xùn)練節(jié)點(diǎn)使用所述聯(lián)合訓(xùn)練結(jié)果作為模型初始參數(shù)集，利用該任務(wù)對(duì)應(yīng)的標(biāo)簽類(lèi)型的樣本進(jìn)行訓(xùn)練，以得到針對(duì)該任務(wù)的特定模型。

2.根據(jù)權(quán)利要求1所述的方法，同一任務(wù)對(duì)應(yīng)的樣本存儲(chǔ)于多個(gè)數(shù)據(jù)節(jié)點(diǎn)中，所述獨(dú)立訓(xùn)練中的每輪迭代包括以下步驟：

任一目標(biāo)數(shù)據(jù)節(jié)點(diǎn)將當(dāng)前本地模型的模型訓(xùn)練特征上傳到訓(xùn)練節(jié)點(diǎn)；

訓(xùn)練節(jié)點(diǎn)根據(jù)接收到的至少1個(gè)模型訓(xùn)練特征確定出綜合模型訓(xùn)練特征，并將綜合模型訓(xùn)練特征下發(fā)到目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，以使每個(gè)目標(biāo)數(shù)據(jù)節(jié)點(diǎn)根據(jù)綜合模型訓(xùn)練特征更新本地模型。

3.根據(jù)權(quán)利要求2所述的方法，所述模型訓(xùn)練特征包括：

數(shù)據(jù)節(jié)點(diǎn)當(dāng)前的本地模型損失函數(shù)的梯度；

或者數(shù)據(jù)節(jié)點(diǎn)訓(xùn)練當(dāng)前的本地模型后得到的、本地模型的參數(shù)集。

4.根據(jù)權(quán)利要求1所述的方法，所述基于獨(dú)立訓(xùn)練后的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)本地模型損失函數(shù)的梯度確定該任務(wù)的梯度，包括：

訓(xùn)練節(jié)點(diǎn)接收獨(dú)立訓(xùn)練后、任一目標(biāo)數(shù)據(jù)節(jié)點(diǎn)發(fā)送的當(dāng)前該目標(biāo)數(shù)據(jù)節(jié)點(diǎn)本地模型損失函數(shù)的梯度；

訓(xùn)練節(jié)點(diǎn)根據(jù)接收到的至少1個(gè)梯度確定該任務(wù)的梯度。

5.根據(jù)權(quán)利要求1所述的方法，所述獨(dú)立訓(xùn)練的訓(xùn)練停止條件包括迭代達(dá)到預(yù)設(shè)次數(shù)。

6.一種基于分布式數(shù)據(jù)的多任務(wù)模型訓(xùn)練方法，應(yīng)用于訓(xùn)練節(jié)點(diǎn)，所述訓(xùn)練節(jié)點(diǎn)所在的系統(tǒng)中包括至少2個(gè)數(shù)據(jù)節(jié)點(diǎn)，不同數(shù)據(jù)節(jié)點(diǎn)本地存儲(chǔ)有相同特征的樣本和相同的通用模型，訓(xùn)練節(jié)點(diǎn)存儲(chǔ)有該通用模型；訓(xùn)練節(jié)點(diǎn)用于執(zhí)行至少2種任務(wù)，不同任務(wù)使用具有不同標(biāo)簽類(lèi)型的樣本對(duì)通用模型進(jìn)行訓(xùn)練，得到不同的模型，每種類(lèi)型的標(biāo)簽對(duì)應(yīng)一種業(yè)務(wù)含義，標(biāo)簽值的取值范圍相同；所述方法包括：

循環(huán)執(zhí)行以下聯(lián)合訓(xùn)練步驟，直到滿(mǎn)足循環(huán)停止條件：

針對(duì)任一任務(wù)，確定存儲(chǔ)有該任務(wù)對(duì)應(yīng)的標(biāo)簽類(lèi)型的樣本的數(shù)據(jù)節(jié)點(diǎn)為目標(biāo)數(shù)據(jù)節(jié)點(diǎn)；對(duì)目標(biāo)數(shù)據(jù)節(jié)點(diǎn)當(dāng)前的本地模型進(jìn)行獨(dú)立訓(xùn)練，基于獨(dú)立訓(xùn)練后的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)本地模型損失函數(shù)的梯度確定該任務(wù)的梯度；

對(duì)多個(gè)任務(wù)的梯度進(jìn)行匯總，并利用梯度匯總結(jié)果更新訓(xùn)練節(jié)點(diǎn)當(dāng)前的本地模型參數(shù)集；

向所述系統(tǒng)中的數(shù)據(jù)節(jié)點(diǎn)下發(fā)當(dāng)前的本地模型參數(shù)集，以使所述系統(tǒng)中每個(gè)數(shù)據(jù)節(jié)點(diǎn)基于接收到的模型參數(shù)集更新本地模型；

循環(huán)停止后，將訓(xùn)練節(jié)點(diǎn)當(dāng)前的本地模型參數(shù)集確定為聯(lián)合訓(xùn)練結(jié)果；

針對(duì)任一任務(wù)，使用所述聯(lián)合訓(xùn)練結(jié)果作為模型初始參數(shù)集，利用該任務(wù)對(duì)應(yīng)的標(biāo)簽類(lèi)型的樣本進(jìn)行訓(xùn)練，以得到針對(duì)該任務(wù)的特定模型。