[發(fā)明專利]多視角攝像及圖像處理裝置、系統(tǒng)及方法與解碼處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 200710305690.1
• 申請(qǐng)日: 2007-12-28
• 公開（公告）號(hào): CN101472190A
• 公開（公告）日: 2009-07-01
• 發(fā)明（設(shè)計(jì)）人: 劉源
• 申請(qǐng)（專利權(quán)）人: 深圳華為通信技術(shù)有限公司
• 主分類號(hào): H04N13/00
• 分類號(hào): H04N13/00;H04N15/00
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 逯長明

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理領(lǐng)域，特別是涉及多視角攝像及圖像處理裝置、系 統(tǒng)及方法與解碼處理方法。

背景技術(shù)

立體(3D)視頻技術(shù)可以提供符合立體視覺原理的具有深度信息的畫面，從 而能夠真實(shí)地重現(xiàn)客觀世界景象，表現(xiàn)出場景的縱深感、層次感和真實(shí)性， 是當(dāng)前視頻技術(shù)發(fā)展的重要方向。

目前視頻研究領(lǐng)域有兩個(gè)主要的研究熱點(diǎn)：雙目立體視頻和多視角視頻 (又稱“Multi-View?Coding，MVC”)。雙目立體視頻的基本原理是模擬人眼 成像原理，采用雙攝像機(jī)獨(dú)立得到左眼圖像和右眼圖像，并使人的左右眼分 別看到左右眼通道圖像，最后合成得到具有立體感的圖像。多視角視頻由多 個(gè)攝像機(jī)同時(shí)拍攝得到，具有多個(gè)視頻通道，不同的攝像機(jī)的拍攝角度不同。 在播放時(shí)這些不同角度的景物圖像都會(huì)送到用戶終端，如電視機(jī)顯示屏上， 用戶在觀看時(shí)可以選擇不同的角度觀看不同的景物畫面圖像。

一種現(xiàn)有技術(shù)多視角三維運(yùn)動(dòng)圖像多路復(fù)用的方法和設(shè)備公開了一種根 據(jù)用戶的需求進(jìn)行多視角3D運(yùn)動(dòng)圖像多路復(fù)用的設(shè)備和方法。該方法對(duì)多視 角攝像機(jī)采集的運(yùn)動(dòng)圖像進(jìn)行編碼，生成多視角編碼數(shù)據(jù)流。然后接收用戶 的反向信道的信息，并根據(jù)該信息選擇合適的編碼流按幀或場進(jìn)行同步復(fù)用。 該方法包括：

步驟101：從多個(gè)攝像機(jī)得到運(yùn)動(dòng)圖像和信息，并生成多個(gè)多視角編碼流；

步驟102：從反向信道接收視角信息和用戶選擇的顯示模式信息；

步驟103：根據(jù)反向信道信息，在所述多視角編碼流中選擇一組編碼流進(jìn) 行復(fù)用，每個(gè)流具有相同的時(shí)間信息，采用逐幀或逐場的方式。

在進(jìn)行本發(fā)明創(chuàng)造過程中，發(fā)明人發(fā)現(xiàn)上述現(xiàn)有多視角三維運(yùn)動(dòng)圖像多 路復(fù)用的技術(shù)中至少存在以下問題：

上述現(xiàn)有MVC技術(shù)仍然要在同一時(shí)刻采用多個(gè)攝像機(jī)從不同視角對(duì)同 一場景進(jìn)行圖像數(shù)據(jù)的獲取，然后全部進(jìn)行編碼，再在所述多視角編碼流中 選擇一組編碼流進(jìn)行復(fù)用，導(dǎo)致在進(jìn)行編碼處理時(shí)耗費(fèi)大量的編碼資源、編 碼時(shí)間過長，對(duì)系統(tǒng)的編碼處理能力要求過高。

發(fā)明內(nèi)容

本發(fā)明實(shí)施方式要解決的技術(shù)問題是提供一種多視角攝像及圖像處理裝 置、系統(tǒng)及方法與解碼處理方法，可以提高多視角圖像的采集和編碼效率， 降低系統(tǒng)對(duì)處理能力的要求。

提供一種多視角攝像及圖像處理裝置，包括依次連接的攝像單元、采集 單元、選擇單元和編碼單元，其中所述攝像單元用于攝像，包括進(jìn)行多視角 攝像并輸出立體視頻數(shù)據(jù)；所述采集單元用于采集所述攝像單元輸出的立體 視頻數(shù)據(jù)；所述選擇單元用于從所述立體視頻數(shù)據(jù)中選擇至少一路數(shù)據(jù)；所 述編碼單元用于編碼，包括對(duì)所述選擇單元選出的立體視頻數(shù)據(jù)進(jìn)行編碼。

提供一種多視角解碼和圖像處理及顯示裝置，包括：輸入控制單元，用 于發(fā)送指令，包括發(fā)送控制指定視角進(jìn)行攝像的指令；解碼單元，用于解碼 在所述指定視角攝像得到并經(jīng)過編碼的數(shù)據(jù)。

提供一種多視角攝像及圖像處理系統(tǒng)，包括相互連接的多視角攝像及圖 像處理裝置和多視角解碼和圖像處理及顯示裝置，所述多視角攝像及圖像處 理裝置用于進(jìn)行多視角攝像并輸出立體視頻數(shù)據(jù)，從所述立體視頻數(shù)據(jù)中選 擇至少一路數(shù)據(jù)，編碼后發(fā)送給多視角解碼和圖像處理及顯示裝置；所述多 視角解碼和圖像處理及顯示裝置用于向所述多視角攝像及圖像處理裝置發(fā)送 控制指定視角進(jìn)行攝像的指令，并對(duì)所述多視角攝像及圖像處理裝置發(fā)送的 數(shù)據(jù)進(jìn)行解碼。

提供一種攝像及圖像處理方法，包括：進(jìn)行多視角攝像并輸出立體視頻 數(shù)據(jù)；從所述立體視頻數(shù)據(jù)中選擇至少一路數(shù)據(jù)；對(duì)所述選出的立體視頻數(shù) 據(jù)編碼。

提供一種視頻解碼和圖像處理方法，包括：輸入用戶觀看的視角和用戶 到顯示表面的距離信息，對(duì)接收到的立體視頻數(shù)據(jù)進(jìn)行解碼；根據(jù)所述視角 和所述距離信息對(duì)所述解碼后的立體視頻數(shù)據(jù)進(jìn)行圖像重構(gòu)，得到適合用戶 觀看的圖像并顯示。

以上技術(shù)方案可以看出，區(qū)別于現(xiàn)有技術(shù)無選擇性地將全部視角拍攝的 視頻數(shù)據(jù)進(jìn)行編碼而造成系統(tǒng)承載較重的技術(shù)問題，本發(fā)明實(shí)施方式在多視 角攝像中根據(jù)需要選擇視頻數(shù)據(jù)流或按照輸入的視角指令，按需要選擇部分 的視頻流數(shù)據(jù)進(jìn)行編碼，因而可以有效降低采集和/或編碼的復(fù)雜度，提高采 集和編碼效率，降低系統(tǒng)對(duì)處理能力的要求。

附圖說明

圖1是現(xiàn)有技術(shù)多視角三維運(yùn)動(dòng)圖像多路復(fù)用方法的流程圖；