[發(fā)明專利]高分辨率單目2D視頻到雙目3D視頻的轉(zhuǎn)制方法

有效

• 申請?zhí)枺?/td>: 202011395559.0
• 申請日: 2020-12-03
• 公開（公告）號: CN112543317B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計）人: 姚莉;李林鑫;楊俊宴;吳含前
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: H04N13/261
• 分類號: H04N13/261;H04N13/268;G06N3/04;G06K9/62;G06T3/40;G06T7/593;G06V10/774;G06V10/82
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 許小莉

本發(fā)明公開一種高分辨率單目2D視頻到雙目3D視頻的轉(zhuǎn)制方法，在深度信息提取階段，使用現(xiàn)有的3D電影作為源數(shù)據(jù)集訓(xùn)練一個U型結(jié)構(gòu)的卷積網(wǎng)絡(luò)，得到性能優(yōu)越的網(wǎng)絡(luò)模型對2D視頻進(jìn)行逐幀的深度估計，利用小型的神經(jīng)網(wǎng)絡(luò)對深度圖進(jìn)行保邊平滑的優(yōu)化處理。在視點(diǎn)合成階段，提出無相機(jī)參數(shù)的基于深度圖的視點(diǎn)合成算法，采用對稱式的由中間向兩邊渲染的策略進(jìn)行左右虛擬視點(diǎn)合成。最后，在圖像修復(fù)階段，提出了結(jié)合時域信息的基于塊匹配的圖像修復(fù)算法，對左右視點(diǎn)中的裂痕空洞進(jìn)行填充修復(fù)。本發(fā)明能夠在原2D視頻無任何相關(guān)參數(shù)信息的前提下，對其進(jìn)行2D到3D的視頻轉(zhuǎn)制，不僅可以有效地處理高分辨率畫面，且轉(zhuǎn)制效果好、速度快。

技術(shù)領(lǐng)域

本發(fā)明涉及一種高分辨率單目2D視頻到雙目3D視頻的轉(zhuǎn)制方法，屬于圖像處理、計算機(jī)視覺和計算機(jī)圖形學(xué)領(lǐng)域。

背景技術(shù)

近些年來多媒體相關(guān)技術(shù)和硬件設(shè)備快速發(fā)展，市場上推出了各種3D和VR設(shè)備，如VR眼鏡、3D屏幕手機(jī)和3D顯示器等，與此同時用戶對于觀看3D視頻的娛樂需求也日益增長。然而對于普通的具有拍攝功能的移動設(shè)備，只能拍攝普通的單目2D視頻，目前市場上缺乏將2D視頻轉(zhuǎn)制為3D視頻的技術(shù)。無論是3D電影熒幕，VR眼鏡，或是3D屏幕手機(jī)和顯示器，都需要有豐富多樣的雙目3D視頻資源作為支撐，來為用戶提供具有立體感、沉浸感和視覺效果的3D視頻觀看體驗。單目2D視頻到雙目3D視頻的轉(zhuǎn)制技術(shù)正是解決這一問題的關(guān)鍵技術(shù)，可以極大地快速地豐富3D視頻資源庫。

目前主流的3D內(nèi)容制作分為兩種：一種是主動式拍攝獲取方法，一種是被動式計算機(jī)視覺計算方法。但是主動式方法對雙目攝像鏡頭的要求很高，要保證鏡頭、光圈、色度一致，兩路信號要同步，這使得立體拍攝的設(shè)備成本極高。被動式方法是通過后期的2D轉(zhuǎn)制3D技術(shù)來完成，即對單目2D視頻通過計算機(jī)視覺、計算機(jī)圖形學(xué)的方法估算出雙目3D視頻，這樣兩路視頻輸入顯示設(shè)備，可以獲得良好的3D視覺體驗效果。

2D視頻轉(zhuǎn)制3D視頻，需要先有2D視頻每幀畫面的深度信息作為基礎(chǔ)，其次通過基于深度信息的虛擬視點(diǎn)合成方法合成虛擬視點(diǎn)，然后對虛擬視點(diǎn)中的空洞和瑕疵進(jìn)行填充和修復(fù)。對于1080P的高分辨率視頻，圖像中的像素數(shù)量極大，轉(zhuǎn)制技術(shù)需要保證輸出的雙目3D視頻同樣是原先的高分辨率，并且紋理、色彩和語義信息準(zhǔn)確而合理，觀看時無模糊、目眩和失真等視覺感覺，畫面及內(nèi)容需要使觀看者在感到自然、流暢的基礎(chǔ)上，具有立體感、沉浸感的視覺享受。

高分辨率的單目2D視頻到雙目3D立體視頻的自動化轉(zhuǎn)制，目前主要面臨以下幾個難點(diǎn)：

1、視頻畫面的深度信息估計不夠準(zhǔn)確，虛擬視點(diǎn)合成需要質(zhì)量很高的深度圖，其所需深度圖需要達(dá)到像素級的準(zhǔn)確度和平滑度。

2、基于深度信息的虛擬視點(diǎn)合成，由于普通的視頻沒有相機(jī)參數(shù)等必要信息，因此進(jìn)一步提高了對深度圖質(zhì)量的要求，增大了虛擬視點(diǎn)合成的難度。

3、視頻是由連續(xù)的畫面構(gòu)成的，因此對于雙目的虛擬視點(diǎn)的空洞瑕疵的填充和修復(fù)，不僅要在單幀畫面上表現(xiàn)得清晰細(xì)膩和無偽影，而且要在畫面連續(xù)播放時連貫自然，無整體上和局部上的色彩、紋理的抖動和異變。

4、對于高分辨率的視頻畫面，其深度信息提取、虛擬視點(diǎn)合成、圖像空洞修復(fù)難度很大，不僅要保證2D-3D轉(zhuǎn)制的效果，而且要考慮計算機(jī)硬件的性能上限和處理速度。

發(fā)明內(nèi)容

本發(fā)明解決了上述問題和難點(diǎn)，提供了一種針對高分辨率單目2D視頻到雙目3D視頻的轉(zhuǎn)制方法，這種方法能夠?qū)Ω叻直媛实娜我獾?D視頻，在無相機(jī)參數(shù)和其他信息的前提下，無需人工操作的情況下，全自動地將輸入的單目2D視頻轉(zhuǎn)制為3D視頻，且保持原分辨率與畫質(zhì)效果。

為了實(shí)現(xiàn)上述目的，本發(fā)明的一種針對高分辨率單目2D視頻到雙目3D視頻的轉(zhuǎn)制方法，包括如下步驟：

步驟1：從現(xiàn)有的3D電影中提取左右?guī)捎肧GBM算法從中提取和構(gòu)建RGBD數(shù)據(jù)集；