[發明專利]一種視頻轉換方法及裝置

有效

• 申請號: 202010626305.9
• 申請日: 2020-07-01
• 公開（公告）號: CN111726621B
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 張浩海;梁利平;王志君;洪欽智
• 申請（專利權）人: 中國科學院微電子研究所
• 主分類號: H04N19/172
• 分類號: H04N19/172;H04N19/30;H04N19/40;H04N19/42
• 代理公司: 北京知迪知識產權代理有限公司 11628
• 代理人: 周娟

本發明公開一種視頻轉換方法及裝置，涉及視頻轉換技術領域，以解決視頻轉換性能低，成本高的問題。所述視頻轉換方法包括：采用半監督生成式對抗網絡對原始視頻和中間幀進行處理，獲得轉換后視頻；轉換后視頻含有的各個視頻幀之間具有光流約束；中間幀是位于原始視頻含有的第一幀視頻至最后一幀視頻之間的視頻幀。本發明提供的視頻轉換裝置執行視頻轉換方法，用于視頻轉換。

技術領域

本發明涉及視頻轉換技術領域，尤其涉及一種視頻轉換方法及裝置。

背景技術

在計算機視覺中，許多任務可以被描述為視頻到視頻的轉換。目前通常采用生成式對抗網絡(Generative Adversarial Networks，縮寫為GAN)進行視頻轉換。

上述方法根據訓練數據集的不同分為有監督和無監督兩種視頻轉換方法。由于有監督的視頻轉換方法中的數據集是由有標注樣本組成的，所以成本較高。無監督的視頻轉換方法中，數據集由不存在對應關系的不同視頻域的視頻組成，所以難以保證最終生成視頻中的目標具有運動軌跡。

發明內容

本發明的目的在于提供一種視頻轉換方法及裝置，用于在低成本的情況下提高視頻轉換性能。

為了實現上述目的，本發明提供如下技術方案：

本發明提供一種視頻轉換方法。該視頻轉換方法包括：

采用半監督生成式對抗網絡對原始視頻和中間幀進行處理，獲得轉換后視頻；轉換后視頻含有的各個視頻幀之間具有光流約束；中間幀是位于原始視頻含有的第一幀視頻至最后一幀視頻之間的視頻幀。

與現有技術相比，本發明提供的視頻轉換方法中，采用半監督生成式對抗網絡對原始視頻和中間幀進行處理，獲得轉換后視頻，并且轉換后視頻含有的各個視頻幀之間具有光流約束，符合實際要求。由于采用的是半監督生成式對抗網絡，相較于單純使用有標注數據的有監督訓練模式，減少了標注的成本。并且，以半監督生成式對抗網絡轉換視頻，可以使得待轉換的原始視頻可以部分標注的情況下，利用半監督生成式對抗網絡對其進行轉換，相較于單純使用無標注數據的無監督訓練模式，提高了生成式對抗網絡對視頻轉換的性能。綜上所述，采用上述視頻轉換方法可以在低成本的情況下提高視頻轉換性能。

本發明還提供了一種視頻轉換裝置。該視頻轉換裝置包括處理器和通信接口，通信接口和處理器耦合，處理器用于運行計算機程序或指令，以實現上述視頻轉換方法。

與現有技術相比，本發明提供的視頻轉換裝置的有益效果與上述技術方案所述視頻轉換方法的有益效果相同，此處不做贅述。

本發明還提供了一種計算機存儲介質。該計算機存儲介質中存儲有指令，當指令被運行時，執行上述視頻轉換方法。

與現有技術相比，本發明提供的計算機存儲介質的有益效果與上述技術方案所述視頻轉換方法的有益效果相同，此處不做贅述。

附圖說明

此處所說明的附圖用來提供對本發明的進一步理解，構成本發明的一部分，本發明的示意性實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。在附圖中：

圖1示出了本發明實施例提供的視頻轉換系統的結構圖；

圖2示出本發明實施例提供的視頻轉換方法的流程圖；

圖3示出本發明實施例提供的獲得轉換后視頻幀的流程圖；

圖4示出本發明實施例提供的利用生成器的視頻轉化過程示意圖；

圖5示出了本發明實施例提供的視頻轉換裝置的結構框圖；

圖6示出了本發明實施例提供的視頻轉換裝置的一種集成模塊示意圖；

圖7示出了本發明實施例提供的芯片的結構示意圖。

附圖標記：