[發(fā)明專利]全景圖生成方法及裝置、存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010245783.5
• 申請日: 2020-03-31
• 公開（公告）號: CN111462311B
• 公開（公告）日: 2023-10-24
• 發(fā)明（設(shè)計）人: 肖春霞;羅飛;李遠珍;李檢嬌;周力恒
• 申請（專利權(quán)）人: 北京小米松果電子有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/20;G06T7/579;G06T7/70;G06T7/90;G06N3/08
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 陳蕾

本公開提供了一種全景圖生成方法及裝置、存儲介質(zhì)，其中，該方法包括：獲取與目標場景對應(yīng)的多張場景圖像；將所述多張場景圖像輸入預(yù)先訓(xùn)練好的目標神經(jīng)網(wǎng)絡(luò)，由所述目標神經(jīng)網(wǎng)絡(luò)根據(jù)所述多張場景圖像生成柱面全景圖像之后，根據(jù)所述柱面全景圖像，生成所述目標場景對應(yīng)的全景顏色圖像和全景深度圖像；其中，所述柱面全景圖像用于表征所述目標場景所包括的物體的不同深度信息；根據(jù)所述全景顏色圖像和所述全景深度圖像，生成所述目標場景對應(yīng)的三維全景圖像。本公開通過深度神經(jīng)網(wǎng)絡(luò)，可以學習場景圖像中的特征，場景圖像的數(shù)目即使較少，也可以得到較為準確的三維全景圖像，在節(jié)約了內(nèi)存的同時，實現(xiàn)了對目標場景進行三維重構(gòu)的目的，可用性高。

技術(shù)領(lǐng)域

本公開涉及圖像處理領(lǐng)域，尤其涉及全景圖生成方法及裝置、存儲介質(zhì)。

背景技術(shù)

目前，全景圖像在軍事、教育、虛擬現(xiàn)實和增強現(xiàn)實等領(lǐng)域中有很重要的研究和應(yīng)用價值。全景圖像的生成是指將一組具有重疊區(qū)域的場景圖像拼接為一幅包含整個場景信息的全景圖像。根據(jù)全景圖像是否包含場景的深度信息，可以把全景圖像分為2D(2Dimension，二維)全景圖像和3D(三維)全景圖像。3D全景圖像包含場景的深度信息，更具有立體感知效應(yīng)，更具有應(yīng)用價值。

通過三維重構(gòu)方法可以展現(xiàn)整個場景的深度信息，但是所需要的圖像數(shù)量比較多。并且對于一些高光區(qū)域，弱紋理區(qū)域重構(gòu)結(jié)果含有誤差。三維重構(gòu)占用內(nèi)存多，很難達到實時的效果，很難遷移到移動設(shè)備上。

發(fā)明內(nèi)容

有鑒于此，本公開提供了一種全景圖生成方法及裝置、存儲介質(zhì)，以解決相關(guān)技術(shù)中的不足。

根據(jù)本公開實施例的第一方面，提供一種全景圖生成方法，所述方法包括：

獲取與目標場景對應(yīng)的多張場景圖像；

將所述多張場景圖像輸入預(yù)先訓(xùn)練好的目標神經(jīng)網(wǎng)絡(luò)，由所述目標神經(jīng)網(wǎng)絡(luò)根據(jù)所述多張場景圖像生成柱面全景圖像之后，根據(jù)所述柱面全景圖像，生成所述目標場景對應(yīng)的全景顏色圖像和全景深度圖像；其中，所述柱面全景圖像用于表征所述目標場景所包括的物體的不同深度信息；

根據(jù)所述全景顏色圖像和所述全景深度圖像，生成所述目標場景對應(yīng)的三維全景圖像。

可選地，所述根據(jù)所述多張場景圖像生成柱面全景圖像，包括：

根據(jù)所述多張場景圖像，建立三維柱坐標系；

將所述多張場景圖像中每張場景圖像所包括的每個像素點映射到所述三維柱坐標系中，得到所述柱面全景圖像。

可選地，所述根據(jù)所述多張場景圖像，建立三維柱坐標系，包括：

對所述多張場景圖像中每張場景圖像進行特征提取，得到多張?zhí)卣鲌D；

根據(jù)所述多張?zhí)卣鲌D，確定相機在拍攝所述每張場景圖像時對應(yīng)的相機位姿；

根據(jù)拍攝所述每張場景圖像時對應(yīng)的所述相機位姿，擬合得到相機對所述目標場景進行拍攝時的運動軌跡；其中，所述運動軌跡與目標圖形所包括的弧線重疊；

將所述目標圖形的中心位置作為三維柱坐標系的中心位置，在三維空間中建立所述三維柱坐標系。

可選地，所述將所述多張場景圖像中每張場景圖像所包括的每個像素點映射到所述三維柱坐標系中，得到所述柱面全景圖像，包括：

根據(jù)所述柱面全景圖像對應(yīng)的預(yù)設(shè)尺寸，確定將所述三維柱坐標系中的三維柱坐標點映射為二維坐標點的第一映射關(guān)系；

根據(jù)所述第一映射關(guān)系，根據(jù)反向投影方式，確定將所述二維坐標點映射為所述三維柱坐標點的第二映射關(guān)系；

根據(jù)所述第二映射關(guān)系，將所述多張場景圖像中每張場景圖像所包括的每個像素點映射到所述三維柱坐標系中，得到所述柱面全景圖像。