[發(fā)明專利]提升空間可分級編碼視頻在丟包網(wǎng)絡中重建質量的方法

有效

• 申請?zhí)枺?/td>: 202010456887.0
• 申請日: 2020-05-26
• 公開（公告）號: CN111726623B
• 公開（公告）日: 2022-11-11
• 發(fā)明（設計）人: 宋利;虞盛煒;解蓉;張文軍
• 申請（專利權）人: 上海交通大學
• 主分類號: H04N19/33
• 分類號: H04N19/33;H04N19/154;H04N19/59;H04N19/70;G06K9/62;G06N3/04
• 代理公司: 上海恒慧知識產(chǎn)權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發(fā)明提供一種提升空間可分級編碼視頻在丟包網(wǎng)絡中的重建質量的方法，其中：獲得初步高分辨率圖像，該初步高分辨率圖像經(jīng)過一個CNN網(wǎng)絡獲取其圖像特征；分別提取當前幀的所述初步高分辨率圖像和前幾幀解碼得到的高分辨率圖像的運動特征，將所述運動特征與所述初步圖像特征進行融合，得到融合特征；將所有融合特征級聯(lián)，恢復出當前幀高分辨率圖像。本發(fā)明結合空間分級編碼視頻的特點，充分利用了當前幀低分辨率圖像信息和前幾幀存在的高分辨率圖像信息，因而能夠在增強層丟失處恢復出高質量的高分辨率圖像。

技術領域

本發(fā)明涉及視頻重建質量優(yōu)化領域，具體涉及一種空間分級編碼視頻重建質量優(yōu)化技術，尤其涉及一種提升空間可分級編碼視頻在丟包網(wǎng)絡中重建質量的方法。

背景技術

視頻流量占互聯(lián)網(wǎng)總流量的比重越來越大，如何更好地在網(wǎng)絡上傳輸視頻內(nèi)容成了研究的焦點。相較于傳統(tǒng)編碼的視頻，可分級編碼的視頻在網(wǎng)絡上傳輸時可以更好地適應網(wǎng)絡帶寬的波動或者克服網(wǎng)絡丟包，因為即使部分增強層碼流發(fā)生丟失，解碼端仍能通過解碼基本層碼流得到基本質量的視頻。

可分級編碼分為空間分級、時間分級、質量分級等。以最常用的空間分級編碼為例，編碼得到的碼流包括一個基本層碼流和若干個增強層碼流，其中，基本層碼流可以通過解碼得到最低分辨率的視頻內(nèi)容，而結合基本層碼流和增強層碼流，可以依次得到更高分辨率的視頻。由于編碼復雜度的限制，在實際使用中，往往采用兩層結構，即一個基本層和一個增強層。在視頻內(nèi)容傳輸時，往往對基本層內(nèi)容的傳輸添加更強的保護，包括前向保護或者丟包重傳等，而對增強層的保護則相對較弱。

對于空間分級編碼，如果發(fā)生了增強層的丟失，則該幀只能通過解碼基本層碼流得到一個低分辨率的圖像，播放時必須通過超分辨率算法將該幀超分辨率到增強層視頻分辨率后才能正常播放。傳統(tǒng)超分辨率算法性能不佳，不能準確還原圖片中的細節(jié)，所以在視頻播放時，會因為該幀質量的忽然下降產(chǎn)生嚴重的視覺偽影。而基于神經(jīng)網(wǎng)絡的圖像超分辨率算法或者視頻超分辨率算法往往比傳統(tǒng)方法性能更好，尤其是視頻超分辨率算法，由于其利用了視頻的前后幀信息，恢復得到的圖像的細節(jié)更加豐富。但是，這些超分辨率算法都不是針對可分級編碼視頻設計的，沒有充分利用已經(jīng)解碼得到的前幾幀高分辨率圖像信息。另外，部分視頻超分辨率算法為了提升質量，需要用到后續(xù)幀信息，這會引入額外的延遲。

發(fā)明內(nèi)容

針對現(xiàn)有超分辨率算法不能充分利用可分級編碼視頻信息的問題，本發(fā)明提供一種提升空間可分級編碼視頻在丟包網(wǎng)絡中重建質量的方法，該方法通過充分利用解碼得到的前幾幀高分辨率圖像信息和當前幀低分辨率圖像信息，能夠獲得更高質量的當前高分辨率幀。

為實現(xiàn)上述目的，本發(fā)明采用以下技術方案：

本發(fā)明提供一種提升空間可分級編碼視頻在丟包網(wǎng)絡中重建質量的方法，包括：

S1，獲取當前幀的初步高分辨率圖像；

S2，將所述初步高分辨率圖像經(jīng)過CNN網(wǎng)絡獲取初步圖像特征；

S3，采用一個CNN網(wǎng)絡作為循環(huán)網(wǎng)絡，分別提取當前幀的所述初步高分辨率圖像和前幾幀解碼得到的高分辨率圖像的運動特征，將所述運動特征與所述初步圖像特征進行融合，得到融合特征；

S4，將所述循環(huán)網(wǎng)絡輸出的所有融合特征級聯(lián)，通過一個CNN網(wǎng)絡恢復出當前幀高分辨率圖像。

上述S1中，空間分級編碼視頻碼流在網(wǎng)絡上進行傳輸時，其增強層允許發(fā)生丟失，以適應網(wǎng)絡帶寬的波動，這些位置的幀只能解碼獲得低分辨率圖像；因此，本發(fā)明在解碼空間分級編碼視頻時，如果當前幀增強層丟失，只能解碼得到低分辨率圖像，則通過一個基于神經(jīng)網(wǎng)絡的圖像超分辨率算法得到一個初步高分辨率圖像。

上述S3中，所述運動特征是指包含前后幀圖像間的運動信息的圖像特征，將前后幀圖像級聯(lián)起來，通過一個CNN網(wǎng)絡隱式獲取。