[發(fā)明專(zhuān)利]用于支持漸進(jìn)式視頻比特流切換的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201880097350.0
• 申請(qǐng)日: 2018-09-11
• 公開(kāi)（公告）號(hào): CN112673634A
• 公開(kāi)（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 趙文軍;鄭蕭楨
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市大疆創(chuàng)新科技有限公司
• 主分類(lèi)號(hào): H04N19/503
• 分類(lèi)號(hào): H04N19/503
• 代理公司: 中科專(zhuān)利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 李春偉

系統(tǒng)和方法可以支持視頻流傳輸中的比特流切換。可以采用分布式IDR圖片傳輸技術(shù)來(lái)減少延遲，該延遲是由于為了執(zhí)行比特流切換所要發(fā)送的數(shù)據(jù)量增加而引起的。附加地或備選地，即使在發(fā)生比特流切換時(shí)，漸進(jìn)式碼流切換技術(shù)也可以確保平滑的數(shù)據(jù)流傳輸。

版權(quán)聲明

本專(zhuān)利文檔的公開(kāi)的一部分包含受到版權(quán)保護(hù)的材料。版權(quán)所有人不反對(duì)任何人對(duì)專(zhuān)利文檔或?qū)＠_(kāi)(如其在專(zhuān)利和商標(biāo)局中的專(zhuān)利文件或記錄中出現(xiàn)的原樣)進(jìn)行復(fù)制再現(xiàn)，但是在其他情況下版權(quán)所有人保留所有版權(quán)。

技術(shù)領(lǐng)域

本公開(kāi)的實(shí)施例總體上涉及視頻處理，更具體地但非排他地，涉及視頻流傳輸、編碼和解碼。

背景技術(shù)

近年來(lái)視頻內(nèi)容的消費(fèi)量激增，這主要是由于各種類(lèi)型的便攜式、手持式或可穿戴設(shè)備的普及。例如，虛擬現(xiàn)實(shí)(VR)或增強(qiáng)現(xiàn)實(shí)(AR)能力可以集成到不同的頭戴式設(shè)備(HMD)中。隨著視頻內(nèi)容的形式變得更加復(fù)雜，視頻內(nèi)容的存儲(chǔ)和傳輸變得越來(lái)越具有挑戰(zhàn)性。例如，需要減少用于視頻存儲(chǔ)和傳輸?shù)膸挕＿@是本發(fā)明的實(shí)施例旨在解決的一般領(lǐng)域。

發(fā)明內(nèi)容

本文描述的是可以支持視頻流傳輸?shù)南到y(tǒng)和方法。可以采用分布式IDR圖片傳輸技術(shù)來(lái)減少延遲，該延遲是由于為了在視頻流傳輸中執(zhí)行比特流切換所要發(fā)送的數(shù)據(jù)量增加而引起的。附加地或備選地，即使在發(fā)生比特流切換時(shí)，漸進(jìn)式碼流切換技術(shù)也可以確保平滑的數(shù)據(jù)流傳輸。

本文還描述了可以支持視頻流傳輸中的比特流切換的系統(tǒng)和方法。系統(tǒng)可以使用將圖像幀序列中的每個(gè)圖像幀劃分為多個(gè)部分的方案，其中多個(gè)部分至少包括第一部分和第二部分。系統(tǒng)可以為第一部分獲取不同編碼質(zhì)量的第一組經(jīng)編碼的數(shù)據(jù)，并且可以為第二部分獲取不同編碼質(zhì)量的第二組經(jīng)編碼的數(shù)據(jù)。另外，系統(tǒng)可以確定與第一部分的編碼質(zhì)量的改變相對(duì)應(yīng)的第一切換點(diǎn)，并且可以確定與第二部分的編碼質(zhì)量的改變相對(duì)應(yīng)的第二切換點(diǎn)。此外，系統(tǒng)可以從第一組經(jīng)編碼的數(shù)據(jù)中選擇在第一切換點(diǎn)之前具有第一先驗(yàn)編碼質(zhì)量的經(jīng)編碼的數(shù)據(jù)和在第一切換點(diǎn)之后具有第一后驗(yàn)編碼質(zhì)量的經(jīng)編碼的數(shù)據(jù)。此外，系統(tǒng)可以從第二組經(jīng)編碼的數(shù)據(jù)中選擇在第二切換點(diǎn)之前具有第二先驗(yàn)編碼質(zhì)量的經(jīng)編碼的數(shù)據(jù)和在第二切換點(diǎn)之后具有第二后驗(yàn)編碼質(zhì)量的經(jīng)編碼的數(shù)據(jù)。然后，系統(tǒng)可以將所選擇的經(jīng)編碼的數(shù)據(jù)合并到比特流中。

本文還描述了可以支持視頻流傳輸?shù)南到y(tǒng)和方法。系統(tǒng)可以接收包括用于重構(gòu)圖像幀序列的二進(jìn)制數(shù)據(jù)的比特流，其中基于劃分方案將圖像幀序列中的每個(gè)圖像幀劃分為多個(gè)部分，其中多個(gè)部分至少包括第一部分和第二部分。系統(tǒng)可以根據(jù)二進(jìn)制數(shù)據(jù)生成第一重構(gòu)圖像幀，其中第一重構(gòu)圖像幀包括第一部分的第一重構(gòu)圖像數(shù)據(jù)和第二部分的第一重構(gòu)圖像數(shù)據(jù)。當(dāng)?shù)谝恢貥?gòu)圖像幀在與第一部分的編碼質(zhì)量的改變相對(duì)應(yīng)的第一切換點(diǎn)之前時(shí)，可以以第一先驗(yàn)編碼質(zhì)量來(lái)重構(gòu)第一部分的第一重構(gòu)圖像數(shù)據(jù)，并且當(dāng)?shù)诙貥?gòu)圖像幀在與第二部分的編碼質(zhì)量的改變相對(duì)應(yīng)的第二切換點(diǎn)之前時(shí)，可以以第二先驗(yàn)編碼質(zhì)量來(lái)重構(gòu)第二部分的第一重構(gòu)圖像數(shù)據(jù)。此外，系統(tǒng)可以根據(jù)二進(jìn)制數(shù)據(jù)生成第二重構(gòu)圖像數(shù)據(jù)，其中第二重構(gòu)圖像幀包括第一部分的第二重構(gòu)圖像數(shù)據(jù)和第二部分的第二重構(gòu)圖像數(shù)據(jù)。當(dāng)?shù)谝恢貥?gòu)圖像幀在第一切換點(diǎn)之后時(shí)，以第一后驗(yàn)編碼質(zhì)量來(lái)重構(gòu)第一部分的第二重構(gòu)圖像數(shù)據(jù)，并且當(dāng)?shù)诙貥?gòu)圖像幀在第二切換點(diǎn)之后時(shí)，以第二后驗(yàn)編碼質(zhì)量來(lái)重構(gòu)第一部分的第二重構(gòu)圖像數(shù)據(jù)。

附圖說(shuō)明

圖1示出了根據(jù)本發(fā)明各實(shí)施例的對(duì)彎曲視圖視頻進(jìn)行編碼/壓縮。

圖2示出了根據(jù)本發(fā)明各實(shí)施例的可以將三維球形視圖映射到二維平面的示例性經(jīng)緯圖投影。

圖3示出了根據(jù)本發(fā)明各實(shí)施例的可以將三維球形視圖映射到二維布局的示例性立方面投影。

圖4示出了根據(jù)本發(fā)明各實(shí)施例的將彎曲視圖映射到二維(2D)圖像。

圖5示出了根據(jù)本發(fā)明各實(shí)施例的示例性視頻流傳輸環(huán)境。

圖6示出了根據(jù)本發(fā)明各實(shí)施例的基于瓦片的示例性圖像劃分方案。