[發(fā)明專利]實時4K視頻傳輸方法及裝置

在審

• 申請?zhí)枺?/td>: 202310041856.2
• 申請日: 2023-01-12
• 公開（公告）號: CN116132678A
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計）人: 任杰;劉蓉慶;賈晨鴿;王煜華;陳煒航
• 申請（專利權(quán)）人: 陜西師范大學(xué)
• 主分類號: H04N19/132
• 分類號: H04N19/132;H04N19/146
• 代理公司: 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 周春霞

本申請涉及一種實時4K視頻傳輸方法及裝置，解決了現(xiàn)有技術(shù)在視頻編碼和超分時產(chǎn)生的時延大、內(nèi)存資源消耗過大和視頻信息不完整的問題，有效提升了視頻的壓縮性能，避免視頻傳輸過程中因網(wǎng)絡(luò)狀態(tài)惡劣所造成的較大帶寬消耗和網(wǎng)絡(luò)延遲，在滿足用戶要求的基礎(chǔ)上，實現(xiàn)高分辨率視頻的低時延傳輸；在減少內(nèi)存資源的消耗和緩解計算壓力的同時，也實現(xiàn)了高效的視頻的超分還原，有效平衡質(zhì)量與速度，提升用戶視頻體驗感；具有實時快速、精準(zhǔn)還原、節(jié)省帶寬、內(nèi)存資源占用低的優(yōu)點。

技術(shù)領(lǐng)域

本申請涉及視頻處理技術(shù)領(lǐng)域，具體地，涉及一種實時4K視頻傳輸方法及裝置。

背景技術(shù)

圖像、音頻和視頻等多媒體信息在日常生活中變得越來越重要。隨著智能監(jiān)控系統(tǒng)和數(shù)碼相機的不斷改進，可以采集到存儲容量較大的優(yōu)質(zhì)視頻，這些視頻可以幫助我們在Facebook、Twitter和YouTube等社交網(wǎng)絡(luò)上分享重要時刻。根據(jù)思科最近進行的一項研究，視頻內(nèi)容目前占全球互聯(lián)網(wǎng)流量的82％左右，視頻流量占互聯(lián)網(wǎng)流量的58％。由此可見，視頻數(shù)據(jù)已成為全球消費的最大數(shù)據(jù)源。隨著視頻應(yīng)用的快速增長和對更高質(zhì)量視頻服務(wù)的需求不斷提升，全球視頻數(shù)據(jù)量呈爆炸式增長，這一直是視頻數(shù)據(jù)處理、傳輸和存儲面臨的最嚴峻挑戰(zhàn)，所以視頻處理技術(shù)的發(fā)展備受學(xué)者和專家關(guān)注。

視頻處理技術(shù)包括視頻編碼和視頻超分等技術(shù)，其中視頻編碼是視頻應(yīng)用中的核心技術(shù)之一，它能夠以更有效的方式構(gòu)建和壓縮視頻數(shù)據(jù)，以便于計算，傳輸和存儲；而視頻超分源于圖像超分，其通過每次處理多張連續(xù)的幀，利用多個幀之間的關(guān)系來實現(xiàn)超分目標(biāo)幀，該技術(shù)可以彌補硬件實現(xiàn)的局限并且成本低，在視頻、醫(yī)學(xué)、遙感等領(lǐng)域有著重要的應(yīng)用前景。

在視頻處理方面，已有許多學(xué)者做了大量研究。在視頻壓縮方面，視頻編碼已經(jīng)開發(fā)了三十多年，編碼效率每十年翻一番，但與全球視頻數(shù)據(jù)每兩年翻一番的快速增長相比，還存在很大的差距，并且編碼復(fù)雜性越來越高。如高效視頻編碼(HEVC)存在相當(dāng)大的編碼復(fù)雜性，并且很難通過使用常規(guī)技術(shù)來進一步提高視頻壓縮性能；最新的視頻編碼(VVC/H.266)也被發(fā)現(xiàn)比HEVC復(fù)雜7.4倍到34.0倍。所以，實現(xiàn)更高的壓縮效率并有效縮小差距成為視頻編碼的緊迫任務(wù)。在視頻超分方面，目前有運動估計和補償方法(MEMC)、可變形卷積方法(DC)、3D卷積方法(3D?Conv)、循環(huán)卷積神經(jīng)網(wǎng)絡(luò)方法(RCNN)等模型，具有很高的性能，但是由于模型參數(shù)龐大，需要大量的計算和存儲資源，訓(xùn)練時間長。目前，為了緩解計算壓力和內(nèi)存資源的消耗，服務(wù)提供商通常會采用云計算解決方案。然而，在對延遲敏感的直播、游戲以及AR這種交互式程序中，云計算的高響應(yīng)時間是不能被容忍的。此外，網(wǎng)絡(luò)環(huán)境的多變性和局限性也會限制視頻的實時傳輸，上行帶寬的不足會限制低延遲的高質(zhì)量實時視頻流的傳輸，影響視頻從移動端到云端的交付，導(dǎo)致大多數(shù)內(nèi)容提供商難以在有限的上行帶寬下提供高質(zhì)量和低延遲的視頻流。

目前，現(xiàn)有技術(shù)針對視頻處理存在：時間延遲大、內(nèi)存資源消耗過大以及視頻信息不完整的問題。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)中的至少一個不足，本申請實施例提供一種實時4K視頻傳輸方法及裝置。

第一方面，提供一種實時4K視頻傳輸方法，包括：

獲取待傳輸4K視頻在不同下采樣比例和SR頻率下的預(yù)期VMAF分數(shù)；

獲取待傳輸4K視頻在不同下采樣比例和SR頻率下的預(yù)期FPS值；

根據(jù)不同下采樣比例和SR頻率下的預(yù)期VMAF分數(shù)和不同下采樣比例和SR頻率下的預(yù)期FPS值，確定最優(yōu)的下采樣比例和最優(yōu)的SR頻率；基于最優(yōu)的下采樣比例對待傳輸4K視頻進行處理，得到低分辨率視頻；

根據(jù)低分辨率視頻和SR頻率，得到4K分辨率視頻。

在一個實施例中，獲取待傳輸4K視頻在不同下采樣比例和SR頻率下的預(yù)期VMAF分數(shù)，包括：

提取待傳輸4K視頻在不同下采樣比例和SR頻率下的視頻特征；