[發(fā)明專(zhuān)利]三維對(duì)象合成通過(guò)使用視覺(jué)引導(dǎo)作為二維數(shù)字圖像的一部分

有效

• 申請(qǐng)?zhí)枺?/td>: 201810440473.1
• 申請(qǐng)日: 2018-05-09
• 公開(kāi)（公告）號(hào): CN109242941B
• 公開(kāi)（公告）日: 2023-09-29
• 發(fā)明（設(shè)計(jì)）人: 周擎楠
• 申請(qǐng)（專(zhuān)利權(quán)）人: 奧多比公司
• 主分類(lèi)號(hào): G06T15/00
• 分類(lèi)號(hào): G06T15/00
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 酆迅;姚杰

描述了技術(shù)和系統(tǒng)，其中采用視覺(jué)引導(dǎo)作為圖像處理系統(tǒng)的一部分，以輔助3D對(duì)象作為數(shù)字圖像的一部分的合成。在一個(gè)示例中，圖像處理系統(tǒng)接收在用戶(hù)界面中指定平面的取向的輸入。作為響應(yīng)，圖像處理系統(tǒng)在用戶(hù)界面中輸出與平面相對(duì)應(yīng)的視覺(jué)引導(dǎo)。然后，圖像處理系統(tǒng)基于由視覺(jué)引導(dǎo)定義的平面來(lái)對(duì)3D對(duì)象進(jìn)行取向，然后向其應(yīng)用渲染技術(shù)，諸如基于物理的渲染和基于圖像的照明。

背景技術(shù)

作為二維數(shù)字圖像的一部分的三維(3D)對(duì)象的合成是用于電影特效、用于數(shù)字營(yíng)銷(xiāo)內(nèi)容的產(chǎn)品模型等的常用技術(shù)。例如，數(shù)字營(yíng)銷(xiāo)專(zhuān)業(yè)人員可以與圖像處理系統(tǒng)交互，以將產(chǎn)品作為3D對(duì)象(例如，鞋)插入背景圖像中，以用于在廣告中使用，例如用于橫幅廣告。該功能通過(guò)圖像處理系統(tǒng)的進(jìn)步可用于支持基于物理的繪制和基于圖像的照明。這些進(jìn)步使得由于基于2D數(shù)字圖像的環(huán)境將光和顏色效果逼真地應(yīng)用于3D對(duì)象，圖像處理系統(tǒng)能夠以視覺(jué)上令人滿(mǎn)意的方式來(lái)將3D對(duì)象合成為2D數(shù)字圖像的一部分。

然而，用于通過(guò)圖像處理系統(tǒng)關(guān)于2D數(shù)字圖像來(lái)對(duì)3D對(duì)象進(jìn)行取向的傳統(tǒng)技術(shù)對(duì)于復(fù)雜的用戶(hù)而言是低效率和乏味的，并且對(duì)新手用戶(hù)來(lái)說(shuō)是困難的。由于應(yīng)用于取向的重復(fù)校正和缺乏精度的結(jié)果，例如在觀(guān)看時(shí)顯得真實(shí)，這導(dǎo)致采用這些傳統(tǒng)技術(shù)的圖像處理系統(tǒng)對(duì)計(jì)算資源使用是低效的。

例如，傳統(tǒng)技術(shù)可以分為五類(lèi)，包括基于手動(dòng)旋轉(zhuǎn)的技術(shù)、基于消失點(diǎn)的技術(shù)、基于標(biāo)記的技術(shù)、依賴(lài)于除了數(shù)字圖像(例如，深度場(chǎng)或陀螺儀)之外的外部數(shù)據(jù)的技術(shù)、以及基于機(jī)器學(xué)習(xí)的技術(shù)。在傳統(tǒng)的手動(dòng)旋轉(zhuǎn)技術(shù)中，通過(guò)使用軌跡球，3D對(duì)象相對(duì)于2D數(shù)字圖像被取向。然而，這種技術(shù)在實(shí)踐中通常被專(zhuān)業(yè)用戶(hù)認(rèn)為是乏味的，并且由新手用戶(hù)容易出錯(cuò)，因?yàn)椴徽_的旋轉(zhuǎn)中心會(huì)導(dǎo)致不期望的和不自然的結(jié)果。

在傳統(tǒng)的消失點(diǎn)技術(shù)中，2D數(shù)字圖像中的正交平行線(xiàn)組用于確定消失點(diǎn)，這些消失點(diǎn)足以恢復(fù)內(nèi)在相機(jī)參數(shù)，例如在圖像中定義水平線(xiàn)。然而，在實(shí)踐中，2D數(shù)字圖像可以不包含正交平行線(xiàn)組(例如，對(duì)于“關(guān)閉”)和/或平行線(xiàn)導(dǎo)致具有距圖像的邊界的引入誤差的距離的消失點(diǎn)。另外，在一些情況下，不同的平行線(xiàn)組之間的正交性可能不成立(例如，限定這些線(xiàn)的不同對(duì)象彼此不正交)，并且因此也引入誤差。此外，傳統(tǒng)的消失點(diǎn)技術(shù)可能依賴(lài)于用戶(hù)來(lái)追蹤平行線(xiàn)，這是冗長(zhǎng)乏味的并且可能引入不準(zhǔn)確之處。另一方面，自動(dòng)邊緣檢測(cè)技術(shù)可以部分地自動(dòng)化跟蹤過(guò)程，而且還引入作為2D數(shù)字圖像中的前景紋理和噪聲的結(jié)果的誤差。

在傳統(tǒng)的基于標(biāo)記的技術(shù)中，包括已知尺寸的標(biāo)記作為2D數(shù)字圖像的一部分。然后由圖像處理系統(tǒng)基于標(biāo)記從2D數(shù)字圖像中提取內(nèi)在和外在的攝像機(jī)參數(shù)，諸如用于攝像機(jī)校準(zhǔn)、視覺(jué)效果和增強(qiáng)現(xiàn)實(shí)。然而，實(shí)際上，這些標(biāo)記通常不可用。

在傳統(tǒng)的基于外部數(shù)據(jù)的技術(shù)中，從數(shù)字圖像設(shè)備的圖像傳感器外部的傳感器(例如深度傳感器、飛行時(shí)間相機(jī)、結(jié)構(gòu)化網(wǎng)格技術(shù)等等)獲得的數(shù)據(jù)被用于提供附加信息。雖然這些數(shù)據(jù)可以提高精度，但是這些技術(shù)也引入了附加的挑戰(zhàn)。例如，陀螺儀可以確定捕獲數(shù)字圖像設(shè)備的取向，但不能確定圖像場(chǎng)景中的任意平面。深度傳感器的輸出通常被認(rèn)為是有噪聲的并且具有低分辨率，因此也可能引入誤差。因此，這些挑戰(zhàn)可能會(huì)引入不準(zhǔn)確和不切實(shí)際的結(jié)果。

在適用于單個(gè)數(shù)字圖像的傳統(tǒng)基于機(jī)器學(xué)習(xí)的技術(shù)中，這些技術(shù)通常依賴(lài)于關(guān)于數(shù)字圖像的特性的嚴(yán)格假設(shè)，如果不符合，則會(huì)導(dǎo)致誤差。這些假設(shè)的示例包括數(shù)字圖像的類(lèi)型(例如，室內(nèi)對(duì)室外)、從數(shù)字圖像恢復(fù)的平面的類(lèi)型(例如，接地平面或照攝像機(jī)軸對(duì)準(zhǔn)的平面)等等。因此，這些傳統(tǒng)技術(shù)可能由于各種挑戰(zhàn)而失敗，并且例如由于這些傳統(tǒng)技術(shù)的重復(fù)應(yīng)用而導(dǎo)致計(jì)算資源的低效消耗。

發(fā)明內(nèi)容