[發明專利]具有深度學習的視頻幀合成

有效

• 申請號: 201780070280.5
• 申請日: 2017-09-29
• 公開（公告）號: CN110140147B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 劉子緯;劉一鳴;A.阿加瓦拉
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

1.一種用于視頻幀合成的計算機實施方法，所述方法包括：

由一個或多個計算設備接收視頻；

由所述一個或多個計算設備將描述所述視頻的第一組順序幀數據輸入到機器學習的視頻幀合成模型中，其中，所述機器學習的視頻幀合成模型包括至少一個具有體素流層的卷積神經網絡；

由所述一個或多個計算設備從所述視頻接收一個或多個合成幀，所述一個或多個合成幀由所述機器學習的視頻幀合成模型輸出；并且

由所述一個或多個計算設備提供關于所述一個或多個合成幀的信息。

2.根據權利要求1所述的計算機實施方法，其中，所述卷積神經網絡包括卷積編碼器-解碼器網絡。

3.根據權利要求2所述的計算機實施方法，其中，所述卷積編碼器-解碼器網絡包括至少一個卷積層和至少一個去卷積層之間的至少一個跳過連接。

4.根據任一前述權利要求所述的計算機實施方法，還包括：

由所述一個或多個計算設備提供關于所述一個或多個合成幀的信息作為慢運動視頻的一部分。

5.根據任一前述權利要求所述的計算機實施方法，其中，由所述機器學習的視頻幀合成模型輸出的所述一個或多個合成幀中的至少一個包括在所述第一組順序幀數據中間的插值幀。

6.根據任一前述權利要求所述的計算機實施方法，其中，由所述機器學習的視頻幀合成模型輸出的所述一個或多個合成幀中的至少一個包括在所述第一組順序幀數據之后的預測幀。

7.根據任一前述權利要求所述的計算機實施方法，其中，所述體素流層被配置為輸出跨空間和時間的每像素3D光流矢量。

8.根據任一前述權利要求所述的計算機實施方法，還包括由所述一個或多個計算設備提供包括插值幀的修改后的視頻。

9.一種用于視頻幀合成的計算系統，所述計算系統包括：

至少一個處理器；

機器學習的視頻幀合成模型，包括至少一個具有體素流層的卷積神經網絡，其中，所述視頻幀合成模型被訓練成接收描述視頻的第一組順序幀數據，并且響應于所述第一組順序幀數據的接收，從所述視頻中確定一個或多個合成幀；和

至少一個存儲指令的有形的、非暫時性的計算機可讀介質，當所述指令被所述至少一個處理器運行時，使得所述至少一個處理器：

獲得描述所述視頻的所述第一組連續幀數據；

將所述第一組順序幀數據輸入到所述視頻幀合成模型中；并且

接收關于所述一個或多個合成幀的信息作為所述視頻幀合成模型的輸出。

10.根據權利要求9所述的計算系統，其中，所述視頻包括高清晰度視頻。

11.根據權利要求9或權利要求10所述的計算系統，其中，關于所述一個或多個合成幀的信息被接收作為慢運動視頻的一部分。

12.根據權利要求9至11中任一項所述的計算系統，其中，由所述機器學習的視頻幀合成模型輸出的所述一個或多個合成幀中的至少一個包括在所述第一組順序幀數據中間的插值幀。

13.根據權利要求9至12中任一項所述的計算系統，其中，由所述機器學習的視頻幀合成模型輸出的所述一個或多個合成幀中的至少一個包括在所述第一組順序幀數據之后的預測幀。

14.根據權利要求9至13中任一項所述的計算系統，其中，所述體素流層被配置為輸出每像素3D光流矢量。

15.根據權利要求9至14中任一項所述的計算系統，其中，所述體素流層包括在所述機器學習的視頻幀合成模型中的中間層。