[發明專利]生成視頻的方法，裝置，存儲介質及電子設備

有效

• 申請號: 201910557145.4
• 申請日: 2019-06-25
• 公開（公告）號: CN110381268B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 王超鵬;林義閩;廉士國
• 申請（專利權）人: 達闥機器人有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265;G06T7/50;G06T7/10;G06T3/00;G06T5/00
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 曾堯

1.一種生成視頻的方法，其特征在于，所述方法包括：

將源視圖的三原色圖像輸入深度及語義網絡，得到所述深度及語義網絡輸出的深度圖以及語義圖；

將所述語義圖以及所述三原色圖像輸入特征編碼器網絡，得到所述特征編碼器網絡輸出的特征圖；

針對所述源視圖的多個連續的位姿變換矩陣中的每一位姿變換矩陣，根據該位姿變換矩陣與所述深度圖，對所述語義圖和所述特征圖分別進行變換，得到對應于每一所述位姿變換矩陣的目標語義圖和目標特征圖，所述多個連續的位姿變換矩陣是所述源視圖相對于多個連續的圖像幀的分別的位姿變換矩陣；

根據對應于每一所述位姿變換矩陣的目標語義圖和目標特征圖，分別生成圖像幀，得到多個連續的圖像幀，其中，每一所述圖像幀和所述源視圖是同一對象不同視角的圖像；

將所述多個連續的圖像幀合成為視頻。

2.根據權利要求1所述的方法，其特征在于，所述針對所述源視圖的多個連續的位姿變換矩陣中的每一位姿變換矩陣，根據該位姿變換矩陣與所述深度圖，對所述語義圖和所述特征圖分別進行變換，包括：

分別針對所述特征圖以及所述語義圖中的每一像素通過如下公式計算該像素在第一圖像幀中的坐標：

[p_t]＝dK[R|t]K^-1[p_s]

[R|t]＝[R_s|t_s]^-1[R_t|t_t]

其中，d代表所述深度圖中該像素處的深度值，K代表相機的內參，[R|t]代表所述源視圖相對所述第一圖像幀的位姿變換矩陣，R代表旋轉，t代表平移，[R_s|t_s]、[R_t|t_t]分別代表所述源視圖及所述第一圖像幀下相機在世界坐標系下的位姿，p_s表示該像素在所述源視圖下的坐標，p_t表示該第一圖像幀下的坐標。

3.根據權利要求1所述的方法，其特征在于，所述根據對應于每一所述位姿變換矩陣的目標語義圖和目標特征圖，分別生成圖像幀，包括：

根據對應于每一所述位姿變換矩陣的目標語義圖和目標特征圖進行優化處理，所述優化處理包括：孔洞填充以及扭曲校正；

根據對應于每一所述位姿變換矩陣的優化后的所述目標語義圖和優化后的所述目標特征圖，分別生成所述圖像幀。

4.根據權利要求1所述的方法，其特征在于，所述根據對應于每一所述位姿變換矩陣的目標語義圖和目標特征圖，分別生成圖像幀，得到多個連續的圖像幀包括：

針對對應于每一所述位姿變換矩陣的目標語義圖和目標特征圖，將該目標語義圖和該目標特征圖輸入生成對抗網絡中的生成器網絡，得到所述對應于該位姿變換矩陣的圖像幀。