[發(fā)明專利]用于封裝HEVC分層媒體數(shù)據(jù)的方法、設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201580034838.5
• 申請(qǐng)日: 2015-07-01
• 公開(kāi)（公告）號(hào): CN106664446B
• 公開(kāi)（公告）日: 2019-09-10
• 發(fā)明（設(shè)計(jì)）人: F·德努阿爾;F·梅茲;C·康克拉托;J·勒芙荷
• 申請(qǐng)（專利權(quán)）人: 佳能株式會(huì)社
• 主分類號(hào): H04N21/236
• 分類號(hào): H04N21/236;H04N21/2365;H04N21/84;H04N19/176;H04N19/30
• 代理公司: 中國(guó)國(guó)際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所 11038
• 代理人: 歐陽(yáng)帆

技術(shù)領(lǐng)域

本發(fā)明一般涉及例如根據(jù)由MPEG標(biāo)準(zhǔn)化組織定義的基本媒體文件格式來(lái)封裝定時(shí)(timed)媒體數(shù)據(jù)的領(lǐng)域，以提供有助于媒體數(shù)據(jù)的交換、管理、編輯和呈現(xiàn)的靈活并可擴(kuò)展的格式，并改善流輸送，特別是關(guān)于HTTP(超文本傳輸協(xié)議)和在壓縮的視頻流中的用戶選擇的感興趣區(qū)域的RTP(實(shí)時(shí)傳輸協(xié)議)流傳輸。更特別地，本發(fā)明涉及用于在封裝基本流中編碼層間依賴性的方法、設(shè)備和計(jì)算機(jī)程序，該基本流包含諸如允許有效的特別是一個(gè)或多個(gè)區(qū)塊(tile)的數(shù)據(jù)的流傳輸或提取的空間區(qū)塊的多層分區(qū)(partitioned)數(shù)據(jù)。

背景技術(shù)

視頻編碼是將一系列視頻圖像轉(zhuǎn)換為緊湊的數(shù)字化比特流以使得該視頻圖像可以被傳送或儲(chǔ)存的方式。編碼設(shè)備被用于編碼視頻圖像，伴隨著相關(guān)聯(lián)的解碼設(shè)備可用于重建用于顯示和觀看的比特流。一般的目的是形成比特流以具有比原始視頻信息更小的尺寸。這有利地減少了傳輸網(wǎng)絡(luò)或儲(chǔ)存設(shè)備傳送或儲(chǔ)存比特流代碼所要求的容量。為了被傳送，視頻比特流一般根據(jù)通常添加報(bào)頭(header)和校驗(yàn)位的傳送協(xié)議而被封裝。視頻流傳輸機(jī)制在互聯(lián)網(wǎng)和移動(dòng)網(wǎng)絡(luò)上被廣泛部署和使用，以在HTTP(超文本傳輸協(xié)議)(諸如例如3GPP的自適應(yīng)HTTP流傳輸(AHS)，微軟的平滑流傳輸或蘋果的HTTP實(shí)況流傳輸)上流傳輸音頻/視頻媒體。

最近，運(yùn)動(dòng)圖像專家組(MPEG)公布了新的標(biāo)準(zhǔn)，以統(tǒng)一和取代現(xiàn)有的HTTP上的流傳輸解決方案。這種被稱為“HTTP上的動(dòng)態(tài)自適應(yīng)流傳輸(DASH)”的新標(biāo)準(zhǔn)意圖基于標(biāo)準(zhǔn)web服務(wù)器支持在HTTP上的媒體流傳輸模型，其中智能(即，選擇用于流傳輸?shù)拿襟w數(shù)據(jù)，以及比特流對(duì)用戶選擇、網(wǎng)絡(luò)條件和客戶端能力的動(dòng)態(tài)自適應(yīng))僅僅依賴于客戶端選擇和設(shè)備。

在這個(gè)模型中，按照數(shù)據(jù)片段以及按照被稱為“媒體呈現(xiàn)描述(MPD)”的表示將被呈現(xiàn)的定時(shí)媒體數(shù)據(jù)的組織的清單(manifest)來(lái)組織媒體呈現(xiàn)。特別地，清單包括用于下載數(shù)據(jù)片段的資源標(biāo)識(shí)符，并且提供上下文以選擇和組合那些數(shù)據(jù)片段以獲取有效的媒體呈現(xiàn)。資源標(biāo)識(shí)符通常是HTTP-URL(統(tǒng)一資源定位符)，其可能與字節(jié)范圍組合。基于清單，客戶端設(shè)備在任何時(shí)候根據(jù)其需要、其能力(例如所支持的編解碼器、顯示器大小、幀率、質(zhì)量級(jí)別等)并且取決于網(wǎng)絡(luò)條件(例如可用帶寬)而確定要從媒體數(shù)據(jù)服務(wù)器下載哪些媒體片段。

應(yīng)當(dāng)注意，存在對(duì)HTTP的替代協(xié)議，例如實(shí)時(shí)傳輸協(xié)議(RTP)。

另外，從標(biāo)準(zhǔn)清晰度(SD)到高清晰度(HD)以及到超高清晰度(例如4K2K或8K4K，即包括具有4096×2400像素或7680×4320像素的圖像的視頻)，視頻分辨率在持續(xù)地增長(zhǎng)。然而，并非所有接收和視頻解碼設(shè)備都具有以全分辨率訪問(wèn)視頻的資源(例如，網(wǎng)絡(luò)訪問(wèn)帶寬或CPU(中央處理單元))，特別是當(dāng)視頻是具有超高清晰度時(shí)，以及并非所有用戶都需要訪問(wèn)這種視頻。在這種上下文下，特別有利地是提供只訪問(wèn)一些感興趣區(qū)域(ROI)(即只訪問(wèn)整個(gè)視頻序列的一些空間子部分)的能力。

一種已知的訪問(wèn)屬于視頻的幀的空間子部分的機(jī)制在于將視頻的每個(gè)幀組織為一般被稱為區(qū)塊的可獨(dú)立解碼的空間區(qū)域的布置。諸如HEVC(高效視頻編碼)的一些視頻格式提供對(duì)區(qū)塊定義的支持。用戶定義的ROI可以覆蓋一個(gè)或多個(gè)連續(xù)的區(qū)塊。

作為替代方式，如果用戶想只關(guān)注視頻序列中的圖片的特定細(xì)節(jié)，則用戶可以選擇ROI。

因此，對(duì)于根據(jù)HTTP協(xié)議的流傳輸視頻序列或用戶選擇的ROI，重要的是以使得能夠空間訪問(wèn)一個(gè)或多個(gè)區(qū)塊并且使得能夠組合所訪問(wèn)的區(qū)塊的方式提供對(duì)經(jīng)編碼的視頻比特流的定時(shí)媒體數(shù)據(jù)的封裝。

應(yīng)記得，經(jīng)編碼的視頻比特流被組織成一般被構(gòu)造為對(duì)應(yīng)于完整幀的連續(xù)時(shí)間樣本集合的NAL(網(wǎng)絡(luò)抽象層)單元，該時(shí)間樣本根據(jù)解碼順序而組織。文件格式用于封裝和描述這種經(jīng)編碼的比特流。

為了例示起見(jiàn)，國(guó)際標(biāo)準(zhǔn)組織基本媒體文件格式(ISO BMFF)是眾所周知的靈活并可擴(kuò)展的格式，其描述或者用于本地儲(chǔ)存或者用于經(jīng)由網(wǎng)絡(luò)或經(jīng)由另一個(gè)比特流輸送機(jī)制的傳送的經(jīng)編碼的定時(shí)媒體數(shù)據(jù)比特流。該文件格式是面向?qū)ο蟮摹Ｋ杀环Q為盒(box)的構(gòu)建塊組成，該構(gòu)建塊被順序地或分層地組織并且定義經(jīng)編碼的定時(shí)媒體數(shù)據(jù)比特流的參數(shù)，諸如定時(shí)和結(jié)構(gòu)參數(shù)。根據(jù)該文件格式，定時(shí)媒體數(shù)據(jù)比特流被包含在被稱為mdat盒的數(shù)據(jù)結(jié)構(gòu)中，mdat盒被定義在被稱為軌道(track)盒的另一數(shù)據(jù)結(jié)構(gòu)中。軌道表示樣本的定時(shí)序列，其中樣本對(duì)應(yīng)于與單個(gè)時(shí)間戳相關(guān)聯(lián)的所有數(shù)據(jù)，即，與單個(gè)幀相關(guān)聯(lián)的所有數(shù)據(jù)或與共享相同時(shí)間戳的幾個(gè)幀相關(guān)聯(lián)的所有數(shù)據(jù)。