[發明專利]一種視頻生成方法、裝置及相關設備

有效

• 申請號: 201911320245.1
• 申請日: 2019-12-19
• 公開（公告）號: CN113099146B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 朱聰超;羅巍;王強;鄧斌
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04N5/76
• 分類號: H04N5/76;H04N5/232;H04N7/01
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

本發明實施例公開了一種視頻生成方法、裝置及相關設備，具體可以應用于攝像機、智能手機等，以提高視頻質量，其中的方法包括：獲取第一攝像頭在第一時間段內采集的第一視頻數據，所述第一視頻數據包括多幀第一視頻幀；獲取第二攝像頭在所述第一時間段內采集的圖像數據，所述圖像數據包括一張或多張圖像；調整所述多幀第一視頻幀中的每一幀第一視頻幀的分辨率，獲得第二視頻數據；基于所述圖像數據，對所述多幀第二視頻幀中的一幀或多幀第二視頻幀進行圖像融合，獲得第三視頻數據。本申請可以應用于智能視頻處理等多個技術領域，可以更智能、更準確地改善錄像視頻的分辨率。

技術領域

本發明涉及視頻處理技術領域，尤其涉及一種視頻生成方法、裝置及相關設備。

背景技術

隨著5G技術的迅速發展以及全場景物聯網(Internet of Things，IOT)大屏時代的來臨。人們對于視頻畫面清晰度的要求越來越高，往往不再滿足于常見的720P或者1080P的清晰度，而是追求4K高清，甚至是8K超高清的視頻畫面。

然而，現有技術中，受傳感器(Sensor)和圖像信號處理器(Image SignalProcessor，ISP)的總線傳輸能力、數據處理能力等約束，往往難以同時實現高幀率和高分辨率錄像，也即生成的錄像視頻往往無法同時滿足高流暢度和高清晰度。目前市面上手機自帶的錄像功能一般可以支持30fps(每秒30幀的視頻幀率)和4K畫質的錄像，或者是240fps(每秒240幀的視頻幀率)和720P畫質的錄像。顯然，想要提高錄像的幀率，則勢必要降低錄像的分辨率，反之，想要提高錄像的分辨率，則勢必要降低錄像的幀率。如此，無法同時滿足用戶對高幀率和高分辨率錄像的需求。

發明內容

本發明實施例提供一種視頻生成方法、裝置及相關設備，以更智能、更準確、高效地對采集到的原始視頻數據進行處理，提高視頻質量，滿足用戶實際需求。

第一方面，本發明實施例提供了一種視頻生成方法，可包括：獲取第一攝像頭在第一時間段內采集的第一視頻數據，所述第一視頻數據包括多幀第一視頻幀，所述多幀第一視頻幀中的每一幀第一視頻幀的分辨率為第一分辨率；獲取第二攝像頭在所述第一時間段內采集的圖像數據，所述圖像數據包括一張或多張圖像，所述一張或多張圖像中的每一張圖像的分辨率為第二分辨率；調整所述多幀第一視頻幀中的每一幀第一視頻幀的分辨率，獲得第二視頻數據，所述第二視頻數據包括多幀第二視頻幀，所述多幀第二視頻幀中的每一幀第二視頻幀的分辨率為所述第二分辨率；基于所述圖像數據，對所述多幀第二視頻幀中的一幀或多幀第二視頻幀進行圖像融合，獲得第三視頻數據，所述第三視頻數據包括多幀第三視頻幀。

本發明實施例，可以通過兩個攝像頭在相同時間段和相同拍攝視野內分別采集第一視頻數據(例如包括多幀第一視頻幀)和圖像數據(例如包括一張或多張圖像)，然后，可以根據圖像數據中多張圖像的分辨率，調整第一視頻數據中的多幀視頻幀的分辨率，得到第二視頻數據(例如包括多幀第二視頻幀)，該第二視頻數據中的多幀第二視頻幀的分辨率與該多張圖像的分辨率一致；最終，基于該多張圖像，對該多幀第二視頻幀中的一幀或多幀第二視頻幀進行圖像融合，進一步提高視頻質量，得到第三視頻數據(例如包括多幀第三視頻幀)。本發明實施例可以用于日常各類視頻錄像的場景中，通過對攝像機或者手機同步采集到的原始視頻數據和圖像數據進行處理，從而獲得高分辨率、高幀率的視頻數據，以提高攝像機或者手機等終端設備錄像的視頻質量，滿足用戶的實際需求。可選地，本申請中，圖像的分辨率可以大于第一視頻幀的分辨率，也可以小于或者等于第一視頻幀的分辨率，即根據采集到的第一視頻數據和圖像數據可以得到符合用戶實際需求的高分辨率、高質量的視頻數據或者低分辨率、輕量、占用內存小的視頻數據。此外，在一些可能的實施方式中，本申請還可以通過三個攝像頭或者更多的攝像頭分別采集視頻數據和圖像數據，并基于圖像數據對視頻數據進行處理，提高視頻質量。

在一種可能的實現方式中，所述第二分辨率大于所述第一分辨率；所述調整所述多幀第一視頻幀中的每一幀第一視頻幀的分辨率，獲得第二視頻數據，包括：基于預先訓練得到的第一模型，對所述多幀第一視頻幀中的每一幀第一視頻幀進行超分辨率重建，獲得所述第二視頻數據。