[發(fā)明專利]一種基于生成對抗網(wǎng)絡(luò)的量化模型訓(xùn)練的方法及裝置

有效

• 申請?zhí)枺?/td>: 202011293572.5
• 申請日: 2020-11-18
• 公開（公告）號: CN112288032B
• 公開（公告）日: 2022-01-14
• 發(fā)明（設(shè)計）人: 康燕斌;張志齊
• 申請（專利權(quán)）人: 上海依圖網(wǎng)絡(luò)科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 朱佳

本公開涉及計算機技術(shù)，特別涉及一種基于生成對抗網(wǎng)絡(luò)的量化模型訓(xùn)練的方法及裝置。用以降低模型在低比特量化時的性能損失，該方法為：服務(wù)器采用對抗方式對第一分類模型、第一分類模型量化后的第二分類模型，以及第三分類模型進(jìn)行訓(xùn)練，將樣本數(shù)據(jù)分別輸入第一分類模型和第二分類模型，將獲得的第一處理結(jié)果和第二處理結(jié)果，以及樣本數(shù)據(jù)，輸入第三分類模型，得到第三處理結(jié)果，再通過對第三處理結(jié)果與真實結(jié)果進(jìn)行比對獲得相應(yīng)的梯度，并采用梯度對第一分類模型，第二分類模型以及第三分類模型進(jìn)行參數(shù)調(diào)整，最終，輸出訓(xùn)練完畢的第二分類模型。這樣，既降低了第一分類模型在低比特量化時的性能損失，也保證了第二分類模型的精度不受影響。

技術(shù)領(lǐng)域

本公開涉及計算機技術(shù)，特別涉及一種基于生成對抗網(wǎng)絡(luò)的量化模型訓(xùn)練的方法及裝置。

背景技術(shù)

在日常生活中，在不同使用場景下，對模型精度有不同的要求，特定場景下，模型的精度可以滿足日常的生活需求即可，例如，計算圓的周長的模型，僅僅需要使用3.14代表圓周率即可，無需在計算時使用精確到小數(shù)點后幾十位，甚至上百位，因此，我們需要對一些模型進(jìn)行量化。

但是，相關(guān)技術(shù)下，所述量化技術(shù)都會降低模型的精確度，同時也難以保證量化后模型的性能。

因此，需要一種新的量化模型訓(xùn)練的方法及裝置，以克服上述缺陷。

發(fā)明內(nèi)容

本公開提供一種基于生成對抗網(wǎng)絡(luò)的量化模型訓(xùn)練的方法及裝置，用以降低模型在低比特量化時的性能損失。

本發(fā)明提供的具體技術(shù)方案如下：

第一方面，一種基于生成對抗網(wǎng)絡(luò)的量化模型訓(xùn)練的方法，包括：

確定第一分類模型，第二分類模型以及第三分類模型，其中所述第二分類模型為所述第一分類模型經(jīng)過量化后得到的模型，所述第三分類模型為與第一模型不同的模型；

基于樣本數(shù)據(jù)集合，采用循環(huán)迭代方式執(zhí)行以下步驟，直到訓(xùn)練完畢為止：

將樣本數(shù)據(jù)分別輸入所述第一分類模型和所述第二分類模型，得到相應(yīng)的第一處理結(jié)果和第二處理結(jié)果；

將所述樣本數(shù)據(jù)，所述第一處理結(jié)果和所述第二處理結(jié)果，輸入所述第三分類模型，得到第三處理結(jié)果；

將第三處理結(jié)果與真實結(jié)果進(jìn)行誤差比較，獲得相應(yīng)的梯度，并采用所述梯度對第一分類模型，第二分類模型以及第三分類模型進(jìn)行參數(shù)調(diào)整；輸出訓(xùn)練完畢的第二分類模型。

可選的，確定第一分類模型，第二分類模型以及第三分類模型之前，進(jìn)一步包括：

將訓(xùn)練完成后的第一分類模型直接進(jìn)行量化，將量化后的第一分類模型作為第二分類模型；

或者，

將帶有模擬量化的噪聲數(shù)據(jù)的樣本數(shù)據(jù)集合，送入所述第一分類模型進(jìn)行訓(xùn)練，輸出訓(xùn)練完成后的第一分類模型，作為第二分類模型。

可選的，將所述樣本數(shù)據(jù)，所述第一處理結(jié)果和所述第二處理結(jié)果，輸入所述第三分類模型，得到第三處理結(jié)果，包括：

將所述樣本數(shù)據(jù)、所述第一分類模型和所述第二分類模型在分類過程中使用的各個標(biāo)簽、所述第一處理結(jié)果和所述第二處理結(jié)果，輸入所述第三分類模型，得到第三處理結(jié)果，所述第三處理結(jié)果表征所述第一處理結(jié)果是否由所述第一分類模型輸出，以及所述第二處理結(jié)果是否由所述第二分類模型輸出。

可選的，采用所述梯度對第一分類模型，第二分類模型以及第三分類模型進(jìn)行參數(shù)調(diào)整，包括：

采用所述梯度，對所述第一分類模型以及所述第二分類模型分別進(jìn)行參數(shù)調(diào)整，使得參數(shù)調(diào)整后的第一分類模型再次輸出的第一處理結(jié)果與參數(shù)調(diào)整后的第二分類模型再次輸出的第二處理結(jié)果趨于相同；