[發(fā)明專利]一種動作遷移方法在審
| 申請?zhí)枺?/td> | 202111208600.3 | 申請日： | 2021-10-18 |
| 公開（公告）號： | CN113870313A | 公開（公告）日： | 2021-12-31 |
| 發(fā)明（設(shè)計）人： | 司馬華鵬;屈奇勛;范宏偉;李佳斌 | 申請（專利權(quán)）人： | 南京硅基智能科技有限公司 |
| 主分類號： | G06T7/246 | 分類號： | G06T7/246;G06T7/269;G06T3/00;G06T3/40;G06N3/04;G06N3/08 |
| 代理公司： | 北京弘權(quán)知識產(chǎn)權(quán)代理有限公司 11363 | 代理人： | 逯長明;許偉群 |
| 地址： | 210012 江蘇省南京市*** | 國省代碼： | 江蘇;32 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 動作 遷移 方法 | ||
本申請?zhí)峁┝艘环N動作遷移方法，包括獲取源圖像和驅(qū)動視頻；將源圖像和驅(qū)動視頻輸入至訓(xùn)練好的動作遷移模型中，訓(xùn)練好的動作遷移模型被配置為執(zhí)行以下步驟：獲取源圖像的源關(guān)鍵點坐標(biāo)，以及提取源圖像的隱層特征；獲取驅(qū)動視頻的驅(qū)動關(guān)鍵點坐標(biāo)；根據(jù)源關(guān)鍵點坐標(biāo)和驅(qū)動關(guān)鍵點坐標(biāo)，獲取由源關(guān)鍵點坐標(biāo)變換至驅(qū)動關(guān)鍵點坐標(biāo)的光流圖和重繪圖；根據(jù)源圖像的隱層特征、光流圖和所述重繪圖，輸出目標(biāo)視頻。本申請?zhí)峁┑膭幼鬟w移方法，提升了生成的目標(biāo)視頻的清晰度。
技術(shù)領(lǐng)域
本申請涉及圖像處理領(lǐng)域，尤其涉及一種動作遷移方法。
背景技術(shù)
動作遷移是圖像處理領(lǐng)域中一種重要的圖像編輯技術(shù)，是指將驅(qū)動視頻中的人物動作遷移到源圖像中的人物身上，在保留源圖像中人物外觀的基礎(chǔ)上，使源圖像中的人物與目標(biāo)視頻中的人物保持同步運動。
在現(xiàn)有的方案中，常向動作遷移模型中輸入一段驅(qū)動視頻和一張源圖像，以生成相應(yīng)的視頻。但在生成過程中，驅(qū)動視頻的視頻幀的局部區(qū)域可能會出現(xiàn)抖動現(xiàn)象。出現(xiàn)這一現(xiàn)象是因為輸入的驅(qū)動視頻的視頻幀尺寸過大，圖像信息增加，圖像中運動明顯的位置較小尺寸圖像更多，在固定關(guān)鍵點檢測個數(shù)的情況下，檢測出的關(guān)鍵點會在一定區(qū)域范圍內(nèi)發(fā)生抖動，使得生成視頻中的對應(yīng)區(qū)域也會出現(xiàn)抖動。因此，當(dāng)輸入的圖像尺寸較大時，需減小圖像尺寸，以保證生成視頻的清晰度。
但是，若減小輸入的驅(qū)動視頻的視頻幀的尺寸，最終生成的圖像的清晰度也會隨之降低，生成效果不好。
發(fā)明內(nèi)容
本申請?zhí)峁┝艘环N動作遷移方法，提升了經(jīng)過動作遷移的目標(biāo)視頻的清晰度。
本申請?zhí)峁┑膭幼鬟w移方法，包括：
獲取源圖像和驅(qū)動視頻；
將所述源圖像和所述驅(qū)動視頻輸入至訓(xùn)練好的動作遷移模型中，所述訓(xùn)練好的動作遷移模型被配置為執(zhí)行以下步驟：
獲取所述源圖像的源關(guān)鍵點坐標(biāo)KSn，以及提取所述源圖像的隱層特征SRE(S)；
獲取所述驅(qū)動視頻的驅(qū)動關(guān)鍵點坐標(biāo)KDn；
根據(jù)所述源關(guān)鍵點坐標(biāo)KSn和所述驅(qū)動關(guān)鍵點坐標(biāo)KDn，獲取由所述源關(guān)鍵點坐標(biāo)KSn變換至所述驅(qū)動關(guān)鍵點坐標(biāo)KDn的光流圖和重繪圖
根據(jù)所述源圖像的隱層特征SRE(S)、所述光流圖和所述重繪圖輸出目標(biāo)視頻。
可選的，將所述源圖像和所述驅(qū)動視頻輸入至訓(xùn)練好的動作遷移模型中之前，包括：
獲取所述源圖像的有效區(qū)域面積，將所述源圖像的有效區(qū)域面積確定為第一面積，計算所述第一面積在所述源圖像中的面積占比；
判定所述第一面積在所述源圖像中的面積占比是否小于第一預(yù)設(shè)值，所述第一預(yù)設(shè)值是所述第一面積在所述源圖像中的面積占比的閾值；
若是，則對所述源圖像進行預(yù)處理，以使所述第一面積在所述源圖像中的面積占比大于或等于所述第一預(yù)設(shè)值。
可選的，所述驅(qū)動視頻包括按時間順序排序的視頻幀，將所述源圖像和所述驅(qū)動視頻輸入至訓(xùn)練好的動作遷移模型中之前，包括：
獲取每一個所述視頻幀的有效區(qū)域面積，將所述視頻幀的有效區(qū)域面積確定為第二面積，計算所述第二面積在所述視頻幀中的面積占比；
判定所述第二面積在所述視頻幀中的面積占比是否小于第二預(yù)設(shè)值，所述第二預(yù)設(shè)值是所述第二面積在所述視頻幀中的面積占比的閾值；
若是，則對所述視頻幀進行預(yù)處理，以使所述第二面積在所述視頻幀中的面積占比大于或等于所述第二預(yù)設(shè)值。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于南京硅基智能科技有限公司，未經(jīng)南京硅基智能科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202111208600.3/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
