[發明專利]一種動作遷移方法

在審

• 申請號: 202111208600.3
• 申請日: 2021-10-18
• 公開（公告）號: CN113870313A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 司馬華鵬;屈奇勛;范宏偉;李佳斌
• 申請（專利權）人: 南京硅基智能科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269;G06T3/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種動作遷移方法，其特征在于，包括：

獲取源圖像和驅動視頻；

將所述源圖像和所述驅動視頻輸入至訓練好的動作遷移模型中，所述訓練好的動作遷移模型被配置為執行以下步驟：

獲取所述源圖像的源關鍵點坐標K_Sn，以及提取所述源圖像的隱層特征SR_E(S)；

獲取所述驅動視頻的驅動關鍵點坐標K_Dn；

根據所述源關鍵點坐標K_Sn和所述驅動關鍵點坐標K_Dn，獲取由所述源關鍵點坐標K_Sn變換至所述驅動關鍵點坐標K_Dn的光流圖和重繪圖

根據所述源圖像的隱層特征SR_E(S)、所述光流圖和所述重繪圖輸出目標視頻。

2.根據權利要求1所述的方法，其特征在于，將所述源圖像和所述驅動視頻輸入至訓練好的動作遷移模型中之前，包括：

獲取所述源圖像的有效區域面積，將所述源圖像的有效區域面積確定為第一面積，計算所述第一面積在所述源圖像中的面積占比；

判定所述第一面積在所述源圖像中的面積占比是否小于第一預設值，所述第一預設值是所述第一面積在所述源圖像中的面積占比的閾值；

若是，則對所述源圖像進行預處理，以使所述第一面積在所述源圖像中的面積占比大于或等于所述第一預設值。

3.根據權利要求2所述的方法，其特征在于，所述驅動視頻包括按時間順序排序的視頻幀，將所述源圖像和所述驅動視頻輸入至訓練好的動作遷移模型中之前，包括：

獲取每一個所述視頻幀的有效區域面積，將所述視頻幀的有效區域面積確定為第二面積，計算所述第二面積在所述視頻幀中的面積占比；

判定所述第二面積在所述視頻幀中的面積占比是否小于第二預設值，所述第二預設值是所述第二面積在所述視頻幀中的面積占比的閾值；

若是，則對所述視頻幀進行預處理，以使所述第二面積在所述視頻幀中的面積占比大于或等于所述第二預設值。

4.根據權利要求1所述的方法，其特征在于，根據所述源關鍵點坐標K_Sn和所述驅動關鍵點坐標K_Dn，獲取由所述源關鍵點坐標K_Sn變換至所述驅動關鍵點坐標K_Dn的光流圖和重繪圖包括：

根據所述源關鍵點坐標K_Sn和所述驅動關鍵點坐標K_Dn，獲取每一個所述驅動關鍵點坐標K_Dn到其對應的所述源關鍵點坐標K_Sn發生的平移變換參數；

根據所述源關鍵點坐標K_Sn和所述驅動關鍵點坐標K_Dn，獲取與所述源關鍵點坐標K_Sn關聯的源局部仿射變換參數和與所述驅動關鍵點坐標K_Dn關聯的驅動局部仿射變換參數；

根據所述源關鍵點坐標K_Sn、所述驅動關鍵點坐標K_Dn、所述源局部仿射變換參數和所述驅動局部仿射變換參數，獲取每一個所述驅動關鍵點坐標K_Dn到其對應的所述源關鍵點坐標K_Sn發生的局部仿射變換的參數；

根據所述源關鍵點坐標K_Sn、所述驅動關鍵點坐標K_Dn、每一個所述驅動關鍵點坐標K_Dn到其對應的所述源關鍵點坐標K_Sn發生的平移變換參數以及每一個所述驅動關鍵點坐標K_Dn到其對應的所述源關鍵點坐標K_Sn發生的局部仿射變換的參數，得到對應的光流圖所述光流圖為每一個所述驅動關鍵點坐標K_Dn到其對應的所述源關鍵點坐標K_Sn發生的全局仿射變換的參數。