[發(fā)明專利]一種網(wǎng)絡模型的訓練方法以及相關裝置

有效

• 申請?zhí)枺?/td>: 201910331313.8
• 申請日: 2019-04-23
• 公開（公告）號: CN110222705B
• 公開（公告）日: 2023-10-24
• 發(fā)明（設計）人: 陳漢亭;舒晗;王云鶴;許春景
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06V10/74;G06N3/0475;G06N3/094;G06N3/0464;G06N3/045
• 代理公司: 深圳市深佳知識產(chǎn)權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本申請公開了一種網(wǎng)絡模型的訓練方法，可以應用于對網(wǎng)絡模型進行訓練的服務器中，服務器可以分別獲取第一生成網(wǎng)絡和第二生成網(wǎng)絡，并利用第二生成網(wǎng)絡輸出的第二轉(zhuǎn)換后圖像，對第一生成網(wǎng)絡進行迭代訓練，由于第二生成網(wǎng)絡為執(zhí)行過訓練操作的大型網(wǎng)絡，則可以保證執(zhí)行過訓練操作的第三生成網(wǎng)絡的圖像處理能力較好，且由于第一生成網(wǎng)絡的參數(shù)量小于第二生成網(wǎng)絡，從而第一生成網(wǎng)絡占用的內(nèi)存面積，且運算量較少。

技術領域

本申請涉及人工智能領域，尤其涉及一種網(wǎng)絡模型的訓練方法以及相關裝置。

背景技術

隨著深度學習技術的發(fā)展，生成對抗網(wǎng)絡已經(jīng)被成功的應用于圖像處理領域，特別是應用于移動終端的圖像風格遷移、人像渲染等多種圖像處理場景中，生成對抗網(wǎng)絡都有著巨大的應用前景。具體的，生成對抗網(wǎng)絡中包含生成網(wǎng)絡和判別網(wǎng)絡，在初始化一組生成對抗網(wǎng)絡之后，生成網(wǎng)絡和判別網(wǎng)絡之間可以互相迭代訓練，從而可以得到一個成熟的生成網(wǎng)絡，終端設備利用訓練好的生成網(wǎng)絡進行圖像處理。

但是，現(xiàn)有技術中的生成網(wǎng)絡占用的內(nèi)存較大，且需要的計算量也往往很大，而終端設備往往不具備有良好計算性能和較大緩存的處理器，因此，現(xiàn)有的生成網(wǎng)絡較難運行于終端設備上，為了提高生成網(wǎng)絡與終端設備之間的兼容性，需要將現(xiàn)有的生成網(wǎng)絡壓縮至更小的體積并降低它的計算量。

但由于現(xiàn)有的針對壓縮和加速算法都是基于分類、檢測等類別的神經(jīng)網(wǎng)絡，而生成網(wǎng)絡與前述類別的神經(jīng)網(wǎng)絡差別較大，因此，亟需推出一種針對生成網(wǎng)絡的壓縮加速方案。

發(fā)明內(nèi)容

本申請實施例提供了一種網(wǎng)絡模型的訓練方法以及相關裝置，通過減少生成網(wǎng)絡的參數(shù)量來實現(xiàn)對生成網(wǎng)絡的壓縮和加速，且利用執(zhí)行過訓練操作的大型網(wǎng)絡對待訓練的小型生成網(wǎng)絡進行訓練，保證了壓縮后的生成網(wǎng)絡仍然可以輸出較高質(zhì)量的圖像。

第一方面，本申請實施例提供一種網(wǎng)絡模型的訓練方法。服務器可以初始化第一生成對抗網(wǎng)絡，并從中獲取第一生成網(wǎng)絡，以及從第二生成對抗網(wǎng)絡中獲取第二生成網(wǎng)絡，其中，第一生成網(wǎng)絡為待訓練的小型網(wǎng)絡，第二生成網(wǎng)絡為執(zhí)行過訓練操作的大型網(wǎng)絡，第一生成網(wǎng)絡中的參數(shù)量小于第二生成網(wǎng)絡中的參數(shù)量，并將待轉(zhuǎn)換圖像輸入第一生成網(wǎng)絡，得到第一轉(zhuǎn)換后圖像，以及將待轉(zhuǎn)換圖像輸入第二生成網(wǎng)絡，得到第二轉(zhuǎn)換后圖像，然后可以根據(jù)第一轉(zhuǎn)換后圖像和第二轉(zhuǎn)換后圖像，對第一生成網(wǎng)絡進行迭代訓練，直至第一生成網(wǎng)絡輸出的第一轉(zhuǎn)換后圖像和第二生成網(wǎng)絡輸出的第二轉(zhuǎn)換后圖像的相似度達到預設閾值時，獲取第三生成網(wǎng)絡，第三生成網(wǎng)絡為第一生成網(wǎng)絡執(zhí)行過迭代訓練后得到的網(wǎng)絡，其中，第一生成網(wǎng)絡的參數(shù)量可以為第二生成網(wǎng)絡的參數(shù)量的四分之一、三分之一或六分之一。

本申請中，獲取第一生成網(wǎng)絡和第二生成網(wǎng)絡之后，將待轉(zhuǎn)換圖像輸入第一生成網(wǎng)絡，得到第一轉(zhuǎn)換后圖像，以及將待轉(zhuǎn)換圖像輸入第二生成網(wǎng)絡，得到第二轉(zhuǎn)換后圖像，并根據(jù)第一轉(zhuǎn)換后圖像和第二轉(zhuǎn)換后圖像，對第一生成網(wǎng)絡進行迭代訓練，直至第一生成網(wǎng)絡輸出的第一轉(zhuǎn)換后圖像和第二生成網(wǎng)絡輸出的第二轉(zhuǎn)換后圖像的相似度達到預設閾值，進而獲取第一生成網(wǎng)絡執(zhí)行過迭代訓練后得到的第三生成網(wǎng)絡。由于第一生成網(wǎng)絡(也即第三生成網(wǎng)絡)的參數(shù)量小于第二生成網(wǎng)絡的參數(shù)量，從而不僅減少了第三生成網(wǎng)絡占用的內(nèi)存面積，且減少了第三生成網(wǎng)絡的運算量，也即實現(xiàn)了對生成網(wǎng)絡的壓縮和加速；此外，由于第一生成網(wǎng)絡為待訓練的小型網(wǎng)絡，第二生成網(wǎng)絡為執(zhí)行過訓練操作的大型網(wǎng)絡，利用第二生成網(wǎng)絡輸出的圖像對第一生成網(wǎng)絡進行迭代訓練，直至第一生成網(wǎng)絡輸出的第一轉(zhuǎn)換后圖像和第二生成網(wǎng)絡輸出的第二轉(zhuǎn)換后圖像的相似度達到預設閾值，從而保證執(zhí)行過訓練操作的第三生成網(wǎng)絡的圖像處理能力較好，也即保證了壓縮后的生成網(wǎng)絡仍然可以輸出較高質(zhì)量的圖像。