[發(fā)明專(zhuān)利]三維內(nèi)容生成裝置及其三維內(nèi)容生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201680041402.3
• 申請(qǐng)日: 2016-06-21
• 公開(kāi)（公告）號(hào): CN107852533B
• 公開(kāi)（公告）日: 2022-09-09
• 發(fā)明（設(shè)計(jì)）人: 鄭載潤(rùn);亞歷山大·利莫諾夫
• 申請(qǐng)（專(zhuān)利權(quán)）人: 三星電子株式會(huì)社
• 主分類(lèi)號(hào): H04N21/81
• 分類(lèi)號(hào): H04N21/81;H04N21/854;G06Q50/10
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 李娜

一種三維(3D)內(nèi)容生成裝置，包括：輸入器，被配置為接收從不同位置采集到的對(duì)象的多幅圖像；檢測(cè)器，被配置為從所述多幅圖像中的每幅圖像中識(shí)別所述對(duì)象并且檢測(cè)所述對(duì)象的預(yù)先確定的特征點(diǎn)；圖形成器，被配置為提取檢測(cè)到的特征點(diǎn)的3D位置信息，并且被配置為基于提取出的所述特征點(diǎn)的所述3D位置信息來(lái)形成針對(duì)所述對(duì)象的表面的至少一個(gè)深度圖；以及內(nèi)容生成器，被配置為使用所述至少一個(gè)深度圖和所述多幅圖像來(lái)生成所述對(duì)象的3D內(nèi)容。

技術(shù)領(lǐng)域

與示例性實(shí)施例一致的裝置和方法涉及一種三維(3D)內(nèi)容生成裝置及其三維內(nèi)容生成方法，更具體地，涉及一種被配置為基于對(duì)象的特征點(diǎn)的檢測(cè)來(lái)生成三維內(nèi)容的三維內(nèi)容生成裝置及其三維內(nèi)容生成方法。

背景技術(shù)

近來(lái)，在檢測(cè)和識(shí)別視頻圖像中對(duì)象的臉部方面已經(jīng)進(jìn)行了許多研究。從二維(2D)圖像中識(shí)別具有三維(3D)形狀的臉部在諸如臉部識(shí)別、臉部表情識(shí)別、圖像建模等各種技術(shù)領(lǐng)域中是非常重要的。然而，由于二維圖像不包括對(duì)象的深度信息，因此從二維圖像識(shí)別三維臉部形狀是非常困難的。

各種方法來(lái)可以被用來(lái)執(zhí)行3D臉部建模。例如，可以使用3D相機(jī)來(lái)獲得紅色、綠色和藍(lán)色(RGB)圖像和深度圖。然而，由于3D相機(jī)非常昂貴，所以使用2D相機(jī)的立體匹配方法被廣泛使用。盡管如此，立體匹配方法的局限在于需要至少兩臺(tái)2D相機(jī)。

另外，恢復(fù)臉部比恢復(fù)對(duì)象的其他區(qū)域要困難得多。這是因?yàn)槟槻康念伾植蓟旧鲜蔷鶆虻模瑳](méi)有足夠的特征點(diǎn)，并且當(dāng)獲得對(duì)象的圖像時(shí)，對(duì)象的臉部表情可能會(huì)發(fā)生改變。

因此，期望一種不需要多臺(tái)2D相機(jī)或者不需要3D相機(jī)就能夠穩(wěn)定地恢復(fù)3D臉部圖像的技術(shù)。

發(fā)明內(nèi)容

一個(gè)或更多個(gè)示例性實(shí)施例提供了一種基于檢測(cè)對(duì)象的特征點(diǎn)來(lái)生成三維(3D)內(nèi)容的三維內(nèi)容生成裝置及其三維內(nèi)容生成方法。

根據(jù)示例性實(shí)施例的一個(gè)方面，提供了一種三維(3D)內(nèi)容生成裝置，包括：輸入器，被配置為接收對(duì)象的多幅圖像，所述多幅圖像被采集自不同位置；檢測(cè)器，被配置為從所述多幅圖像中的每幅圖像中識(shí)別所述對(duì)象并且檢測(cè)所述對(duì)象的特征點(diǎn)；圖形成器，被配置為提取檢測(cè)到的特征點(diǎn)的3D位置信息，并且被配置為基于提取出的所述特征點(diǎn)的所述3D位置信息來(lái)形成針對(duì)所述對(duì)象的表面的至少一個(gè)深度圖；以及內(nèi)容生成器，被配置為基于所述至少一個(gè)深度圖和所述多幅圖像來(lái)生成所述對(duì)象的3D內(nèi)容。

所述裝置還可以包括位置確定器，所述位置確定器被配置為基于所述對(duì)象的提取出的所述特征點(diǎn)的所述3D位置信息來(lái)確定采集所述多幅圖像中的每幅圖像的采集位置，其中，所述內(nèi)容生成器被配置為基于所確定的采集位置來(lái)生成所述對(duì)象的所述3D內(nèi)容。

所述檢測(cè)器可以將所學(xué)習(xí)的所述對(duì)象的模型應(yīng)用于所述多幅圖像并且檢測(cè)所述對(duì)象的所述特征點(diǎn)。

所述檢測(cè)器可以通過(guò)使用所述多幅圖像、所確定的采集位置和檢測(cè)到的所述特征點(diǎn)中的至少一個(gè)來(lái)更新所述對(duì)象的所述模型，并且可以通過(guò)將更新后的所述模型應(yīng)用于隨后輸入的圖像來(lái)檢測(cè)所述特征點(diǎn)。

所述內(nèi)容生成器可以基于檢測(cè)到的特征點(diǎn)的排列形狀和所確定的采集位置中的至少一個(gè)來(lái)從所述多幅圖像中選擇圖像，并且可以通過(guò)使用所選擇的圖像來(lái)恢復(fù)所述對(duì)象的至少一個(gè)預(yù)先確定的部分的紋理，從而生成所述3D內(nèi)容。

所述內(nèi)容生成器可以基于檢測(cè)到的特征點(diǎn)的所述排列形狀和所確定的采集位置中的至少一個(gè)從所述多幅圖像中選擇至少兩幅圖像，并且可以通過(guò)使用所選擇的至少兩幅圖像來(lái)恢復(fù)除了所述預(yù)先確定的部分之外的部分的紋理，從而生成所述3D內(nèi)容。

所述對(duì)象可以包括人的頭部，并且所述檢測(cè)器可以將所學(xué)習(xí)的人臉模型應(yīng)用于所述多幅圖像并且檢測(cè)臉部的所述特征點(diǎn)。

所述檢測(cè)器可以通過(guò)使用所述多幅圖像、所確定的采集位置和檢測(cè)到的臉部的所述特征點(diǎn)中的至少一個(gè)來(lái)更新臉部模型，并且可以通過(guò)將更新后的所述臉部模型應(yīng)用于隨后輸入的圖像來(lái)檢測(cè)臉部的所述特征點(diǎn)。