[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計算機設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111150375.2
• 申請日: 2021-09-29
• 公開（公告）號: CN113822936A
• 公開（公告）日: 2021-12-21
• 發(fā)明（設(shè)計）人: 姜翰青;盛崇山;侯欣如
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T17/00;G06T5/50
• 代理公司: 北京中知恒瑞知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

本公開提供了一種數(shù)據(jù)處理方法、裝置、計算機設(shè)備及存儲介質(zhì)，其中，該方法包括：獲取利用圖像采集設(shè)備對目標(biāo)空間進(jìn)行圖像采集得到的全景視頻；基于所述全景視頻，生成所述目標(biāo)空間的三維稠密模型；基于所述全景視頻、以及所述圖像采集設(shè)備在采集所述全景視頻時的位姿，對所述三維稠密模型進(jìn)行紋理映射，得到攜帶有紋理貼圖的目標(biāo)三維稠密模型；基于目標(biāo)三維稠密模型，生成所述目標(biāo)空間的全景漫游數(shù)據(jù)。

技術(shù)領(lǐng)域

本公開涉及計算機圖形學(xué)技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、裝置、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著計算機技術(shù)的快速發(fā)展，通過全景圖對任一場所進(jìn)行線上漫游已成為一種較為常用的游覽手段，目前一般基于攝像頭拍攝的目標(biāo)空間的二維圖像形成全景畫面，然后利用位于目標(biāo)空間內(nèi)不同位置點對應(yīng)的全景畫面，生成針對目標(biāo)空間的全景漫游，通過該方式形成的全景畫面中物體會存在較大變形，導(dǎo)致全景畫面不能反映空間的真實場景。

發(fā)明內(nèi)容

本公開實施例至少提供一種數(shù)據(jù)處理方法、裝置、計算機設(shè)備及存儲介質(zhì)。

第一方面，本公開實施例提供了一種數(shù)據(jù)處理方法，包括：獲取利用圖像采集設(shè)備對目標(biāo)空間進(jìn)行圖像采集得到的全景視頻；基于所述全景視頻，生成所述目標(biāo)空間的三維稠密模型；基于所述全景視頻、以及所述圖像采集設(shè)備在采集所述全景視頻時的位姿，對所述三維稠密模型進(jìn)行紋理映射，得到攜帶有紋理貼圖的目標(biāo)三維稠密模型；基于目標(biāo)三維稠密模型，生成所述目標(biāo)空間的全景漫游數(shù)據(jù)。

這樣，通過生成目標(biāo)空間中攜帶有紋理貼圖的目標(biāo)三維稠密模型，并利用目標(biāo)三維稠密模型，生成目標(biāo)空間的全景漫游數(shù)據(jù)，使得全景漫游數(shù)據(jù)的生成可以利用目標(biāo)三維稠密模型的紋理貼圖直接映射生成，從而能夠降低物體在生成的全景漫游數(shù)據(jù)中的形變，能夠更真實的還原目標(biāo)空間。另外，由于是利用帶有紋理貼圖的目標(biāo)三維稠密模型來生成全景漫游數(shù)據(jù)，因此，可以針對目標(biāo)空間中的任一位置點，生成與該位置點對應(yīng)的漫游數(shù)據(jù)，全景漫游生成更具有靈活性。

一種可選的實施方式中，所述基于所述全景視頻，生成所述目標(biāo)空間的三維稠密模型，包括：基于所述全景視頻、以及所述圖像采集設(shè)備在采集所述全景視頻時的位姿，對所述目標(biāo)空間進(jìn)行三維稠密重建，得到所述目標(biāo)空間的三維稠密數(shù)據(jù)；所述三維稠密數(shù)據(jù)包括：位于所述目標(biāo)空間內(nèi)的目標(biāo)對象表面的多個稠密點、以及各個稠密點分別在所述目標(biāo)空間內(nèi)的位置信息；基于所述三維稠密數(shù)據(jù)，生成所述三維稠密模型。

這樣，基于全景視頻，對目標(biāo)空間進(jìn)行三維稠密重建，生成能夠反映目標(biāo)空間的真實空間結(jié)構(gòu)、以及目標(biāo)空間中包含的各設(shè)備的真實空間結(jié)構(gòu)以及各設(shè)備在目標(biāo)空間中的真實位置的三維稠密模型，為后續(xù)紋理映射提供較為精確的輸入數(shù)據(jù)。

一種可選的實施方式中，所述目標(biāo)對象包括下述至少一種：目標(biāo)空間內(nèi)的建筑、以及部署在所述目標(biāo)空間中的設(shè)備。

一種可選的實施方式中，所述目標(biāo)三維稠密模型包括：多個面片、各個面片分別對應(yīng)的位姿、以及各個面片分別對應(yīng)的紋理貼圖；其中，任一面片由至少三個稠密點構(gòu)成；所述基于所述全景視頻、以及所述圖像采集設(shè)備在采集所述全景視頻時的位姿，對所述三維稠密模型進(jìn)行紋理映射，得到攜帶有紋理貼圖的目標(biāo)三維稠密模型，包括：針對所述全景視頻中的各幀視頻幀圖像，基于該幀視頻幀圖像對應(yīng)的位姿，從所述三維稠密模型中確定與該幀視頻幀圖像對應(yīng)第一目標(biāo)面片；基于所述第一目標(biāo)面片在所述三維稠密模型中的位姿、以及所述三維稠密模型和該幀視頻幀圖像之間的投影關(guān)系信息，從該幀視頻幀圖像中，確定各個第一目標(biāo)面片分別對應(yīng)的備選紋理貼圖；針對于所述三維稠密模型中的各個面片，根據(jù)該面片對應(yīng)的備選紋理貼圖，確定該面片對應(yīng)的紋理貼圖。

這樣，通過全景視頻中各幀視頻幀圖像對應(yīng)的位姿、以及三維稠密模型的位姿、以及三維稠密模型和視頻幀圖像之間的投影關(guān)系信息，可以更加精確地確定三維稠密模型中包含的各面片對應(yīng)的紋理貼圖，從而提高了紋理映射的精確度，使得最終生成的攜帶有紋理貼圖的目標(biāo)三維稠密模型能夠更加準(zhǔn)確地反映目標(biāo)空間的真實場景。