[發(fā)明專利]樣本生成及模型訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210475907.8
• 申請日: 2022-04-29
• 公開（公告）號: CN114936963A
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 周密;洪偉;姜波;胡光龍
• 申請（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/269;G06T7/254;G06T3/40;G06T9/00;G06N3/04;G06N3/08;G06V40/16;G06V10/764
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 孫寶海

本公開的實(shí)施方式涉及計(jì)算機(jī)技術(shù)領(lǐng)域，更具體地，本公開的實(shí)施方式涉及樣本生成及模型訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)。本公開的技術(shù)方案能夠通過將第一生物對象的第一基準(zhǔn)圖像和第一生物對象的驅(qū)動(dòng)圖像輸入樣本圖像生成模型，以通過樣本圖像生成模型獲得第一生物對象從第一基準(zhǔn)圖像變換到驅(qū)動(dòng)圖像的動(dòng)作信息，將第二生物對象的第二基準(zhǔn)圖像輸入樣本圖像生成模型，以通過樣本圖像生成模型對第二基準(zhǔn)圖像中第二生物對象的圖像特征進(jìn)行提取，由樣本圖像生成模型基于圖像特征和動(dòng)作信息生成第二生物對象的樣本圖像。本技術(shù)方案能夠高效地進(jìn)行生物對象的樣本圖像的生成，實(shí)現(xiàn)對樣本圖像的場景及姿態(tài)擴(kuò)展。

技術(shù)領(lǐng)域

本公開的實(shí)施方式涉及生物特征識別領(lǐng)域，更具體地，本公開的實(shí)施方式涉及樣本生成及模型訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

本部分旨在為本公開的實(shí)施方式提供背景或上下文，此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。

生物特征識別(BIOMETRICS)技術(shù)，是指通過計(jì)算機(jī)利用生物對象本身的生物特征來區(qū)分生物對象個(gè)體的計(jì)算機(jī)技術(shù)。

在相關(guān)技術(shù)中，以深度學(xué)習(xí)技術(shù)為代表的人工智能技術(shù)發(fā)展，為生物特征識別提供了計(jì)算和分析支撐，識別準(zhǔn)確率大幅提高?；谏疃葘W(xué)習(xí)的生物特征識別技術(shù)使用海量的生物對象圖像樣本進(jìn)行模型訓(xùn)練，訓(xùn)練好的模型可用于生物特征識別。

其中，生物對象圖像樣本的樣本量是影響模型效果的一個(gè)因素，通常樣本越豐富，模型效果更好。

發(fā)明內(nèi)容

在本上下文中，本發(fā)明的實(shí)施方式期望提供一種樣本生成及模型訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)。

根據(jù)本公開的一個(gè)方面，提供一種樣本生成方法，其包括：

將第一生物對象的第一基準(zhǔn)圖像和第一生物對象的驅(qū)動(dòng)圖像輸入樣本圖像生成模型，以通過樣本圖像生成模型獲得第一生物對象從第一基準(zhǔn)圖像變換到驅(qū)動(dòng)圖像的動(dòng)作信息；

將第二生物對象的第二基準(zhǔn)圖像輸入樣本圖像生成模型，以通過樣本圖像生成模型對第二基準(zhǔn)圖像中第二生物對象的圖像特征進(jìn)行提取，由樣本圖像生成模型基于圖像特征和動(dòng)作信息生成第二生物對象的樣本圖像。

根據(jù)本公開的一個(gè)方面，提供一種樣本圖像生成模型訓(xùn)練方法，包括：

將參考生物對象的源圖像和參考生物對象的目標(biāo)圖像輸入待訓(xùn)練模型，以通過待訓(xùn)練模型估計(jì)參考生物對象從源圖像變換到目標(biāo)圖像的動(dòng)作信息；

將源圖像輸入待訓(xùn)練模型，通過待訓(xùn)練模型對源圖像中參考生物對象的圖像特征進(jìn)行提取，由待訓(xùn)練模型基于圖像特征和動(dòng)作信息生成參考生物對象的合成圖像；

根據(jù)合成圖像與目標(biāo)圖像之間的損失函數(shù)訓(xùn)練待訓(xùn)練模型，直到達(dá)到訓(xùn)練停止條件，將達(dá)到訓(xùn)練停止條件的待訓(xùn)練模型作為樣本圖像生成模型。

根據(jù)本公開的一個(gè)方面，提供一種樣本生成裝置，其包括：

第一動(dòng)作信息獲取模塊，將第一生物對象的第一基準(zhǔn)圖像和第一生物對象的驅(qū)動(dòng)圖像輸入樣本圖像生成模型，以通過樣本圖像生成模型獲得第一生物對象從第一基準(zhǔn)圖像變換到驅(qū)動(dòng)圖像的動(dòng)作信息；

第一樣本圖像生成模塊，將第二生物對象的第二基準(zhǔn)圖像輸入樣本圖像生成模型，以通過樣本圖像生成模型對第二基準(zhǔn)圖像中第二生物對象的圖像特征進(jìn)行提取，由樣本圖像生成模型基于圖像特征和動(dòng)作信息生成第二生物對象的樣本圖像。

根據(jù)本公開的一個(gè)方面，提供一種樣本圖像生成模型訓(xùn)練裝置，包括：

第二動(dòng)作信息獲取模塊，將參考生物對象的源圖像和參考生物對象的目標(biāo)圖像輸入待訓(xùn)練模型，以通過待訓(xùn)練模型估計(jì)參考生物對象從源圖像變換到目標(biāo)圖像的動(dòng)作信息；