[發(fā)明專利]一種與編解碼無關(guān)的視頻抗丟包的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110953039.5
• 申請日: 2021-08-19
• 公開（公告）號: CN113630597A
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計(jì)）人: 閆城輝;馮文瀾
• 申請（專利權(quán)）人: 隨銳科技集團(tuán)股份有限公司
• 主分類號: H04N19/119
• 分類號: H04N19/119;H04N19/85;H04N19/172;H04N21/647
• 代理公司: 北京興智翔達(dá)知識產(chǎn)權(quán)代理有限公司 11768
• 代理人: 郭衛(wèi)芹

本發(fā)明公開了一種與編解碼無關(guān)的視頻抗丟包的方法和系統(tǒng)，屬于信息處理的領(lǐng)域，該方法包括以下步驟：S1：對視頻幀進(jìn)行分割，得到子幀，每個(gè)子幀分別使用對應(yīng)的編碼器進(jìn)行獨(dú)立編碼；S2：對每個(gè)子幀編碼后，按子幀序號的順序，將各編碼后的子幀依次進(jìn)行網(wǎng)絡(luò)分包并發(fā)送到接收側(cè)；S3：接收側(cè)根據(jù)分割模式，準(zhǔn)備相應(yīng)數(shù)量的解碼器分別進(jìn)行解碼，并緩存子幀；S4：將解碼完成的子幀放入原始的視頻幀中的對應(yīng)位置，并合成最終的視頻。本發(fā)明能夠動態(tài)把原始視頻分割為N×N個(gè)子視頻，分別編碼，可以減小視頻幀的長度，提高視頻幀完整傳輸?shù)母怕省?/p>

技術(shù)領(lǐng)域

本發(fā)明屬于信息處理的領(lǐng)域，具體涉及一種與編解碼無關(guān)的視頻抗丟包的方法和系統(tǒng)。

背景技術(shù)

一般的多媒體會議或多媒體通信系統(tǒng)中，視頻子系統(tǒng)的處理流程為：發(fā)送側(cè)：視頻采集、視頻編碼、編碼幀分包、網(wǎng)絡(luò)發(fā)送；接收側(cè)：網(wǎng)絡(luò)接收、拼裝完整幀、視頻解碼、視頻渲染。

目前，絕大部分的視頻編碼算法會把視頻幀按空域或時(shí)域進(jìn)行預(yù)測編碼；按空域編碼的幀不用參考其他幀(簡稱關(guān)鍵幀)，但壓縮率較低，碼率較高；按時(shí)域編碼的幀需要參考其他幀(簡稱參考幀)，壓縮率較高，碼率較低。由于視頻編碼壓縮后在語義上具有很大的相關(guān)性，一旦出現(xiàn)網(wǎng)絡(luò)丟包，不僅影響當(dāng)前幀的解碼，還會造成誤碼擴(kuò)散，導(dǎo)致參考該幀及其后續(xù)幀的參考幀都無法正常解碼，造成視頻質(zhì)量急劇下降。

現(xiàn)有技術(shù)中，在對抗網(wǎng)絡(luò)丟包方面，大概分為前向糾錯(cuò)和后向糾錯(cuò)。典型的后向糾錯(cuò)方法為丟包重傳技術(shù)，在接收側(cè)檢測到網(wǎng)絡(luò)丟包后，向發(fā)送側(cè)申請重發(fā)丟失的包；接收側(cè)等待重發(fā)包到達(dá)，拼裝完整幀后，再進(jìn)行解碼等后續(xù)處理；通用的前向糾錯(cuò)方法為發(fā)送側(cè)提前發(fā)送冗余包，接收側(cè)檢測到丟包后，利用冗余包可能恢復(fù)出丟包。

對于后向糾錯(cuò)，需要接收側(cè)與發(fā)送側(cè)進(jìn)行交互，受網(wǎng)絡(luò)雙向延遲的影響，會有一定的時(shí)間延遲，且對于丟包網(wǎng)絡(luò)環(huán)境下，重傳申請和重傳響應(yīng)包都有一定概率再次丟包，即可能需要多輪的交互，延遲較大；對于前向糾錯(cuò)，由于無法提前預(yù)測哪些包丟失，冗余包的保護(hù)效率較低，接收側(cè)一般無法保證利用冗余包一定能恢復(fù)出丟包。

另外，對于具體的編解碼算法，可能提供一些特定的前向糾錯(cuò)方法，例如常見的H.264算法，提供靈活宏塊重排(FMO)技術(shù)，將不同宏塊分散到不同的條帶(Slice)，每個(gè)條帶間獨(dú)立編解碼，但由于其分割單位為宏塊，在有些條帶無法正常解碼的情況下，整個(gè)宏塊的恢復(fù)效果并不好。H.264還提供可擴(kuò)展視頻編碼(SVC)技術(shù)，編碼器產(chǎn)生的碼流包含一個(gè)或多個(gè)可以單獨(dú)解碼的子碼流，子碼流可以具有不同的碼率，幀率(時(shí)域)和空間分辨率(空域)；但無論是時(shí)域還是空域分割，都分為基本層和擴(kuò)展層，當(dāng)擴(kuò)展層由于丟包無法正常解碼，可以使用基本層的輸出(較低的幀率或分辨率)，但如果基本層由于丟包而無法正常解碼，則擴(kuò)展層也無法解碼，因此依賴基本層。

有鑒于此，特提出本發(fā)明。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種與編解碼無關(guān)的視頻抗丟包的方法和系統(tǒng)，其動態(tài)把原始視頻分割為N×N個(gè)子視頻，分別編碼，可以減小視頻幀的長度，提高視頻幀完整傳輸?shù)母怕省?/p>

為了實(shí)現(xiàn)上述目的，本發(fā)明提供的一種與編解碼無關(guān)的視頻抗丟包的方法，包括以下步驟：

S1：對視頻幀進(jìn)行分割，得到子幀，每個(gè)子幀分別使用對應(yīng)的編碼器進(jìn)行獨(dú)立編碼；

S2：對每個(gè)子幀編碼后，按子幀序號的順序，將各編碼后的子幀依次進(jìn)行網(wǎng)絡(luò)分包并發(fā)送到接收側(cè)；

S3：接收側(cè)根據(jù)分割模式，準(zhǔn)備相應(yīng)數(shù)量的解碼器分別進(jìn)行解碼，并緩存子幀；

S4：將解碼完成的子幀放入原始的視頻幀中的對應(yīng)位置，并合成最終的視頻。

進(jìn)一步地，所述步驟S1中，對視頻幀進(jìn)行分割包括：將視頻幀的像素按照N×N的分割模式分割，分割后的各個(gè)圖像中，提取相同位置處的像素并按順序排序合成為一個(gè)子幀。