[發(fā)明專(zhuān)利]一種用于3D對(duì)象建模的設(shè)備和方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201010601913.0
• 申請(qǐng)日: 2010-12-10
• 公開(kāi)（公告）號(hào): CN102542601A
• 公開(kāi)（公告）日: 2012-07-04
• 發(fā)明（設(shè)計(jì)）人: 張輝;孫迅;焦少輝;金庸善
• 申請(qǐng)（專(zhuān)利權(quán)）人: 三星電子株式會(huì)社;北京三星通信技術(shù)研究有限公司
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 韓明星;李娜娜

1.一種用于3D對(duì)象建模的設(shè)備，所述設(shè)備包括：

圖像接收單元，用于接收拍攝的彩色圖像和深度圖像，其中，彩色圖像包括正向彩色圖像和至少兩幅其它視角的側(cè)向彩色圖像，深度圖像為正向深度圖像；

3D模板提供單元，用于提供針對(duì)特定種類(lèi)的對(duì)象而預(yù)定義的3D對(duì)象模板，其中，所述3D對(duì)象模板具有形狀特征和紋理特征；

對(duì)象建模單元，用于基于由圖像接收單元接收的彩色圖像和深度圖像對(duì)由3D模板提供單元提供的3D對(duì)象模板進(jìn)行變形處理，并對(duì)彩色圖像和變形處理后的3D對(duì)象模板進(jìn)行紋理合成，以生成3D對(duì)象模型。

2.如權(quán)利要求1所述的設(shè)備，其中，所述對(duì)象建模單元包括：

特征提取模塊，用于從彩色圖像提取用于確定對(duì)象形狀的特征信息；

前景分離模塊，用于通過(guò)產(chǎn)生前景掩膜圖像從正向彩色圖像和正向深度圖像分離出感興趣的前景圖像；

超分辨率處理模塊，用于執(zhí)行超分辨率處理以產(chǎn)生對(duì)應(yīng)于正向彩色圖像的密集深度圖；

變形處理模塊，用于基于由特征提取模塊提取的特征信息以及由超分辨率處理模塊產(chǎn)生的密集深度圖對(duì)由3D模板提供單元提供的3D對(duì)象模板進(jìn)行變形處理；

紋理生成模塊，用于對(duì)彩色圖像和變形處理后的3D對(duì)象模板進(jìn)行紋理合成，以生成3D對(duì)象模型。

3.如權(quán)利要求2所述的設(shè)備，其中，前景分離模塊對(duì)正向深度圖像進(jìn)行前景分割以得到前景掩膜，然后，利用已知的標(biāo)定參數(shù)，將與前景掩膜相應(yīng)的深度像素投影到正向彩色圖像平面，以在正向彩色圖像上形成稀疏的2D點(diǎn)集合，對(duì)所述稀疏的2D點(diǎn)之間的間隙進(jìn)行填充，以在正向彩色圖像上形成相應(yīng)的前景圖像。

4.如權(quán)利要求3所述的設(shè)備，其中，超分辨率處理模塊將深度圖像中的像素投影到正向彩色圖像平面，以獲取正向彩色圖像像素中具有深度值的種子點(diǎn)，基于獲取的種子點(diǎn)和正向彩色圖像來(lái)執(zhí)行局部插值運(yùn)算，從而產(chǎn)生對(duì)應(yīng)于正向彩色圖像的密集深度圖，對(duì)所述密集深度圖進(jìn)行量化，并對(duì)量化的密集深度圖執(zhí)行全局優(yōu)化，以提高其平滑性。

5.如權(quán)利要求4所述的設(shè)備，其中，在超分辨率處理模塊執(zhí)行局部插值運(yùn)算時(shí)，其利用下列等式來(lái)確定正向彩色圖像中的待插值像素的深度值：

dp=Σq∈N(p)Wpq×dq/Σq∈N(p)Wpq]]>

W_pq＝exp(-(1-α(ΔΩ))×color_diff-spatial_diff)，其中，

α(ΔΩ)＝1/(1+e^{-ε×(ΔΩ-τ)})

在上述等式中，p表示正向彩色圖像中的任一待插值像素，N(p)表示像素p的鄰域，q表示鄰域N(p)中的任一種子點(diǎn)，d_p表示像素p的深度值，d_q表示種子點(diǎn)q的深度值，W_pq表示種子點(diǎn)q相對(duì)于像素p的深度權(quán)重，ΔΩ表示鄰域N(p)中最大深度值與最小深度值之間的差，color_diff和spatial_diff分別表示從種子點(diǎn)q到待插值像素p的彩色近似性和空間鄰近度，ε和τ分別是通過(guò)實(shí)驗(yàn)而確定的正常數(shù)。