[發(fā)明專利]任務(wù)模型訓(xùn)練方法、裝置以及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210397221.1
• 申請(qǐng)日: 2022-04-15
• 公開（公告）號(hào): CN114723047A
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 鄭龍飛;陳超超;張本宇;王力
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 趙杰

本說明書實(shí)施例提供任務(wù)模型訓(xùn)練方法、裝置以及系統(tǒng)，其中任務(wù)模型訓(xùn)練方法，應(yīng)用于訓(xùn)練設(shè)備，包括：在接收到服務(wù)器發(fā)送的第一子任務(wù)模型的情況下，先將本地訓(xùn)練樣本輸入第一子任務(wù)模型，得到輸出向量；然后根據(jù)稀疏矩陣對(duì)輸出向量進(jìn)行稀疏化處理，得到隱層特征向量并發(fā)送至服務(wù)器；接著接收預(yù)測(cè)結(jié)果，基于預(yù)測(cè)結(jié)果與標(biāo)簽信息確定損失值，并基于損失值獲取梯度向量；然后根據(jù)梯度向量，更新稀疏矩陣，返回執(zhí)行將本地訓(xùn)練樣本輸入第一子任務(wù)模型的步驟，直至達(dá)到訓(xùn)練停止條件。極大降低了任務(wù)模型的迭代次數(shù)，同時(shí)保證了任務(wù)模型的收斂性；在保證收斂速度的前提下降低了任務(wù)模型的通信量，提高了訓(xùn)練速度。

技術(shù)領(lǐng)域

本說明書實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種任務(wù)模型訓(xùn)練方法。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)和人工智能技術(shù)的快速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)(DNN，Deep NeuralNetworks)已逐漸應(yīng)用于風(fēng)險(xiǎn)評(píng)估、語(yǔ)音識(shí)別、人臉識(shí)別和自然語(yǔ)言處理等領(lǐng)域。不同應(yīng)用場(chǎng)景下的深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相對(duì)固定，為實(shí)現(xiàn)更好的模型性能，就需要更多的訓(xùn)練數(shù)據(jù)。對(duì)于不同的領(lǐng)域，不同的企業(yè)或機(jī)構(gòu)擁有不同的訓(xùn)練樣本，對(duì)這些訓(xùn)練樣本進(jìn)行聯(lián)合訓(xùn)練，將極大提升深度神經(jīng)網(wǎng)絡(luò)模型的精度，給企業(yè)帶來巨大的經(jīng)濟(jì)效益。然而這些原始的訓(xùn)練樣本包含大量的用戶隱私和機(jī)密，一旦信息泄露，將導(dǎo)致不可挽回的負(fù)面影響。此外，多方聯(lián)合計(jì)算的樣本量巨大，往往在千萬(wàn)級(jí)甚至上億級(jí)別，導(dǎo)致訓(xùn)練使用的深度神經(jīng)網(wǎng)絡(luò)模型更為復(fù)雜。因此，亟需一種有效的方案以解決上述問題。

發(fā)明內(nèi)容

有鑒于此，本說明書施例提供了任務(wù)模型訓(xùn)練方法。本說明書一個(gè)或者多個(gè)實(shí)施例同時(shí)涉及任務(wù)模型訓(xùn)練裝置，一種任務(wù)模型訓(xùn)練系統(tǒng)，一種計(jì)算設(shè)備，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及一種計(jì)算機(jī)程序，以解決現(xiàn)有技術(shù)中存在的技術(shù)缺陷。

根據(jù)本說明書實(shí)施例的第一方面，提供了一種任務(wù)模型訓(xùn)練方法，應(yīng)用于訓(xùn)練設(shè)備，包括：

在接收到服務(wù)器發(fā)送的第一子任務(wù)模型的情況下，將本地訓(xùn)練樣本輸入所述第一子任務(wù)模型，得到輸出向量，所述第一子任務(wù)模型為所述服務(wù)器對(duì)預(yù)訓(xùn)練的任務(wù)模型進(jìn)行拆分得到；

根據(jù)稀疏矩陣對(duì)所述輸出向量進(jìn)行稀疏化處理，得到隱層特征向量，將所述隱層特征向量發(fā)送至所述服務(wù)器；

接收所述服務(wù)器發(fā)送的預(yù)測(cè)結(jié)果，基于所述預(yù)測(cè)結(jié)果與所述本地訓(xùn)練樣本的標(biāo)簽信息確定損失值，并基于所述損失值獲取梯度向量，所述預(yù)測(cè)結(jié)果為所述服務(wù)器將所述隱層特征向量輸入第二子任務(wù)模型確定，所述第二子任務(wù)模型為所述服務(wù)器對(duì)預(yù)訓(xùn)練的任務(wù)模型進(jìn)行拆分得到；

根據(jù)所述梯度向量，更新所述稀疏矩陣，返回執(zhí)行所述將本地訓(xùn)練樣本輸入所述第一子任務(wù)模型的步驟，直至達(dá)到訓(xùn)練停止條件。

可選地，在所述將本地訓(xùn)練樣本輸入所述第一子任務(wù)模型之前，還包括：

在接收到服務(wù)器發(fā)送的任務(wù)模型的情況下，根據(jù)本地訓(xùn)練樣本對(duì)所述任務(wù)模型進(jìn)行訓(xùn)練，得到初始任務(wù)模型；

將所述初始任務(wù)模型和所述初始任務(wù)模型對(duì)應(yīng)的訓(xùn)練樣本量發(fā)送至所述服務(wù)器，以使所述服務(wù)器基于各訓(xùn)練設(shè)備發(fā)送的初始任務(wù)模型和訓(xùn)練樣本量確定預(yù)訓(xùn)練的任務(wù)模型。

可選地，所述根據(jù)本地訓(xùn)練樣本對(duì)所述任務(wù)模型進(jìn)行訓(xùn)練，得到初始任務(wù)模型，包括：

根據(jù)本地訓(xùn)練樣本對(duì)所述任務(wù)模型進(jìn)行迭代訓(xùn)練；

在迭代次數(shù)達(dá)到預(yù)設(shè)迭代值時(shí)，停止迭代訓(xùn)練，得到初始任務(wù)模型。

可選地，所述根據(jù)稀疏矩陣對(duì)所述輸出向量進(jìn)行稀疏化處理之前，還包括：

隨機(jī)選擇所述稀疏矩陣中的N個(gè)元素，N為任意自然數(shù)；

將所述N個(gè)元素對(duì)應(yīng)的數(shù)值設(shè)置為第一預(yù)設(shè)數(shù)值，將其他元素對(duì)應(yīng)的數(shù)值設(shè)置為第二預(yù)設(shè)數(shù)值，所述其他元素為所述稀疏矩陣中所述N個(gè)元素以外的元素。