[發(fā)明專利]采用優(yōu)化技術(shù)的單張圖片半自動二維轉(zhuǎn)三維方法和裝置

無效

• 申請?zhí)枺?/td>: 201210160138.9
• 申請日: 2012-05-22
• 公開（公告）號: CN102722862A
• 公開（公告）日: 2012-10-10
• 發(fā)明（設(shè)計）人: 劉琚;王地長生;曹廣昊;孫建德;任艷楠;葛川
• 申請（專利權(quán)）人: 山東大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T15/00
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 李健康

技術(shù)領(lǐng)域

本發(fā)明涉及二維圖片到三維圖片的半自動轉(zhuǎn)換技術(shù)，屬于圖像、多媒體信號處理技術(shù)領(lǐng)域。

背景技術(shù)

由于三維視頻內(nèi)容的短缺，二維視頻到三維視頻的轉(zhuǎn)換技術(shù)越來越成為研究熱點。自動的轉(zhuǎn)換技術(shù)雖然不用人工參與，但是得到的三維效果還不能滿足人們的要求，與其相比，半自動的轉(zhuǎn)換技術(shù)通過增加少量的人力，卻能得到更為準確的深度圖，因此，這種方法普遍被人接受。

在半自動的二維視頻到三維視頻轉(zhuǎn)換系統(tǒng)中，一般的做法是：先是對整個視頻提取關(guān)鍵幀，然后人工設(shè)定關(guān)鍵幀的深度，最后根據(jù)非關(guān)鍵幀與關(guān)鍵幀的相關(guān)性，通過深度傳播算法插值出非關(guān)鍵幀的深度。在這個過程中，關(guān)鍵幀的深度分配至關(guān)重要。關(guān)鍵幀的深度分配屬于單幅圖片的深度分配，如何快速方便而且準確的為圖片分配深度，許多研究者都提出了不同的方法。

所有方法的目的都是一致的，即采用最少和最方便的人工輸入得到最好的深度質(zhì)量。Xun?Cao等人采用的是基于分割的單幅圖片的二維-三維轉(zhuǎn)換，該方法先利用人工輔助進行圖像分割，然后針對每個分割的物體的特征，采用合適的深度模型對其進行分配深度。但是如果圖片中的物體數(shù)量太多，那么這種方法勢必需要大量的人工參與，而且該方法依賴于圖像分割算法的性能。Xi?Yan等提出一種基于T-型結(jié)的深度傳播算法。該算法需要用戶設(shè)定一些代表性像素的深度值和T-型結(jié)的大概位置，然后深度傳播算法結(jié)合這些先驗知識，顏色和邊緣信息得到整個圖的深度。該方法能得到較好的深度圖，但是需要用戶了解T-型結(jié)的定義，而且算法也依賴于T-型結(jié)點的精確定位。

本發(fā)明針對當前算法用戶輸入復(fù)雜，算法對其他算法的依賴性強等缺點，提出一種基于優(yōu)化方法的單幅圖半自動二維轉(zhuǎn)三維方法。該方法只需用戶簡單的設(shè)定代表像素的深度值，就能得到整個圖片的深度，簡單方便，而且不需要用戶學習任何相關(guān)的專業(yè)知識也不依賴其他算法的性能。

發(fā)明內(nèi)容

本發(fā)明的二維圖片到三維圖片的半自動轉(zhuǎn)換方法，根據(jù)單幅圖片中的深度一致性原理，將單幅圖片的深度分配問題建模成一個有約束的優(yōu)化問題并求解，具體步驟為：

（1）根據(jù)圖片場景的結(jié)構(gòu)特征和場景中物體的深度特性，人工選定若干在深度上具有代表性的代表像素，并為選出的代表像素設(shè)定相應(yīng)的深度值；

（2）以步驟（1）中人工設(shè)定的代表像素的深度值為約束條件，通過最小化代表像素的深度值與其相鄰像素的加權(quán)深度之間的差異，求得整幅圖片全部像素的深度值，從而得到該幅圖片的深度圖；

（3）根據(jù)步驟（2）中得到的該幅圖片的深度圖，通過基于深度的渲染技術(shù)得到高質(zhì)量的三維圖片。

本發(fā)明的二維圖片到三維圖片的半自動轉(zhuǎn)換裝置，包括如下組成部分:

（1）深度值人工設(shè)定模塊，該模塊將圖片進行顯示，并提供操作界面，使用戶能夠在單幅圖片上人工選定若干在深度上具有代表性的代表像素，并為選出的代表像素設(shè)定相應(yīng)的深度值；

（2）深度圖計算模塊，該模塊以人工設(shè)定的代表像素的深度值為約束條件，通過最小化代表像素的深度值與其相鄰像素的加權(quán)深度之間的差異，求得整幅圖片全部像素的深度值，從而得到該幅圖片的深度圖；

（3）三維圖片形成模塊，該模塊根據(jù)該幅圖片的深度圖，通過基于深度的渲染技術(shù)得到高質(zhì)量的三維圖片。

附圖說明

圖1是根據(jù)本發(fā)明開發(fā)的軟件界面；

圖2是本發(fā)明針對一些測試圖片得到的深度圖，其中第一列是原始圖片并帶有用戶設(shè)定的代表像素的深度值，第二列是本發(fā)明得到的整個圖片的深度圖。

具體實施方式

本發(fā)明的半自動二維轉(zhuǎn)三維方法，先要求用戶通過直觀觀察，根據(jù)圖片場景的結(jié)構(gòu)特征和場景中物體的深度特性，人工選定若干在深度上具有代表性的代表像素，并為選出的代表像素設(shè)定相應(yīng)的深度值。具體實現(xiàn)時，可采用涂鴉的方式在計算機顯示屏上為圖片設(shè)定一些代表像素的深度值，然后本發(fā)明將圖片的深度計算建模成一個有約束的優(yōu)化問題，通過最小二乘算法求解該問題。

圖1是根據(jù)本發(fā)明開發(fā)的友好用戶界面。該界面不僅能輔助用戶方便快速地設(shè)定一些代表像素的深度值，而且用戶只需單擊“Extract?Depth”按鈕就能完成整個深度問題的建模和求解過程。此外，該界面還有保存結(jié)果，重置結(jié)果，擦除錯誤的深度設(shè)定等額外功能。

對照圖1中的界面，本發(fā)明的二維轉(zhuǎn)三維裝置包括以下模塊：

1.深度值人工設(shè)定模塊：該模塊將圖片進行顯示，并提供操作界面，是用戶能夠根據(jù)輸入圖片的特征，人為的設(shè)定一些代表像素的深度，該模塊的實現(xiàn)流程如下：