[發(fā)明專利]預(yù)測模型的模型參數(shù)更新方法及裝置

有效

• 申請?zhí)枺?/td>: 202010761179.8
• 申請日: 2020-07-31
• 公開（公告）號: CN111898740B
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計）人: 任愷
• 申請（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N20/00;G06K9/62
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 馮艷蓮

1.一種預(yù)測模型的模型參數(shù)更新方法，其特征在于，應(yīng)用在所述預(yù)測模型的參數(shù)服務(wù)器中，包括：

接收工作服務(wù)器對獲取的模型參數(shù)執(zhí)行模型參數(shù)迭代訓(xùn)練后發(fā)送的參數(shù)更新請求，所述參數(shù)更新請求包括所述模型參數(shù)的梯度信息；

響應(yīng)于所述參數(shù)更新請求，檢測所述模型參數(shù)的類型；

若所述模型參數(shù)的類型為預(yù)測模型的嵌入?yún)?shù)，則根據(jù)不同參數(shù)更新算法和執(zhí)行相應(yīng)參數(shù)更新算法的內(nèi)存需求量的關(guān)聯(lián)關(guān)系，從所述不同參數(shù)更新算法中選取第一參數(shù)更新算法，并采用所述第一參數(shù)更新算法和所述梯度信息中的當(dāng)前梯度，對所述嵌入?yún)?shù)進(jìn)行更新；其中，所述第一參數(shù)更新算法為所需的內(nèi)存需求量小于預(yù)設(shè)需求量的算法。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

若所述模型參數(shù)的類型為預(yù)測模型的網(wǎng)絡(luò)參數(shù)，則采用第二參數(shù)更新算法和所述梯度信息中的當(dāng)前梯度，對所述網(wǎng)絡(luò)參數(shù)進(jìn)行更新；其中，所述第二參數(shù)更新算法為收斂速度大于預(yù)設(shè)速度閾值的算法。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用第一參數(shù)更新算法和所述梯度信息中的當(dāng)前梯度，對所述嵌入?yún)?shù)進(jìn)行更新，包括：

根據(jù)所述嵌入?yún)?shù)的當(dāng)前梯度和所述嵌入?yún)?shù)的歷史梯度，獲取參數(shù)減小量；其中，所述參數(shù)減少量與所述當(dāng)前梯度正相關(guān)，與存儲的當(dāng)前的梯度變化量反相關(guān)，所述當(dāng)前的梯度變化量表征所述當(dāng)前梯度和所述歷史梯度的梯度變化程度；所述參數(shù)減少量表示為：式中，M為所述當(dāng)前的梯度變化量，α為預(yù)設(shè)學(xué)習(xí)率，t為迭代次數(shù)，g_t為所述當(dāng)前梯度；

根據(jù)所述嵌入?yún)?shù)減小量，對所述嵌入?yún)?shù)進(jìn)行更新。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述當(dāng)前梯度和所述歷史梯度均包括N個梯度值，所述N表示所述嵌入?yún)?shù)的維數(shù)；

所述當(dāng)前的梯度變化量的獲取步驟包括：

計算所述嵌入?yún)?shù)的所述N個維數(shù)中每個維數(shù)對應(yīng)的所述當(dāng)前梯度和所述歷史梯度的梯度總量，其中，所述梯度總量與所述N的比值為所述當(dāng)前的梯度變化量。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，對所述網(wǎng)絡(luò)參數(shù)進(jìn)行更新之后，所述方法還包括：

根據(jù)對象推薦系統(tǒng)中每個預(yù)測參數(shù)服務(wù)器存儲的嵌入?yún)?shù)的種類，對更新后的嵌入?yún)?shù)進(jìn)行分組，得到至少一組更新后的嵌入?yún)?shù)；

針對每組更新后的嵌入?yún)?shù)，將該組更新后的嵌入?yún)?shù)發(fā)送至相應(yīng)預(yù)測參數(shù)服務(wù)器，以使所述預(yù)測參數(shù)服務(wù)器采用所述每組更新后的嵌入?yún)?shù)替換存儲的相應(yīng)嵌入?yún)?shù)；

將更新后的網(wǎng)絡(luò)參數(shù)發(fā)送至所述對象推薦系統(tǒng)中的每個推理服務(wù)器，以使所述每個推理服務(wù)器采用所述更新后的網(wǎng)絡(luò)參數(shù)替換存儲的網(wǎng)絡(luò)參數(shù)。

6.一種預(yù)測模型的模型參數(shù)更新裝置，其特征在于，應(yīng)用在所述預(yù)測模型的參數(shù)服務(wù)器中，包括：

接收單元，被配置為執(zhí)行接收工作服務(wù)器對獲取的模型參數(shù)執(zhí)行模型參數(shù)迭代訓(xùn)練后發(fā)送的參數(shù)更新請求，所述參數(shù)更新請求包括所述模型參數(shù)的梯度信息；

檢測單元，被配置為執(zhí)行響應(yīng)于所述參數(shù)更新請求，檢測所述模型參數(shù)的類型；

獲取單元，被配置為執(zhí)行獲取不同參數(shù)更新算法和相應(yīng)參數(shù)更新算法的算法特點；所述算法特點包括執(zhí)行參數(shù)更新算法的內(nèi)存需求量；

更新單元，被配置為執(zhí)行若所述模型參數(shù)的類型為預(yù)測模型的嵌入?yún)?shù)，則根據(jù)所述執(zhí)行參數(shù)更新算法的內(nèi)存需求量，從所述不同參數(shù)更新算法中選取第一參數(shù)更新算法，并采用第一參數(shù)更新算法和所述梯度信息中的當(dāng)前梯度，對所述嵌入?yún)?shù)進(jìn)行更新；其中，所述第一參數(shù)更新算法為所需的內(nèi)存需求量小于預(yù)設(shè)需求量的算法。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述更新單元，還被配置為執(zhí)行若所述模型參數(shù)的類型為預(yù)測模型的網(wǎng)絡(luò)參數(shù)，則采用第二參數(shù)更新算法和所述梯度信息中的當(dāng)前梯度，對所述網(wǎng)絡(luò)參數(shù)進(jìn)行更新；其中，所述第二參數(shù)更新算法為收斂速度大于預(yù)設(shè)速度閾值的算法。