[發明專利]全景圖生成方法及裝置、存儲介質

有效

• 申請號: 202010245783.5
• 申請日: 2020-03-31
• 公開（公告）號: CN111462311B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 肖春霞;羅飛;李遠珍;李檢嬌;周力恒
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/20;G06T7/579;G06T7/70;G06T7/90;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 陳蕾

1.一種全景圖生成方法，其特征在于，所述方法包括：

獲取與目標場景對應的多張場景圖像；

將所述多張場景圖像輸入預先訓練好的目標神經網絡，由所述目標神經網絡根據所述多張場景圖像生成柱面全景圖像之后，根據所述柱面全景圖像，生成所述目標場景對應的全景顏色圖像和全景深度圖像；其中，所述柱面全景圖像用于表征所述目標場景所包括的物體的不同深度信息；

根據所述全景顏色圖像和所述全景深度圖像，生成所述目標場景對應的三維全景圖像。

2.根據權利要求1所述的方法，其特征在于，所述根據所述多張場景圖像生成柱面全景圖像，包括：

根據所述多張場景圖像，建立三維柱坐標系；

將所述多張場景圖像中每張場景圖像所包括的每個像素點映射到所述三維柱坐標系中，得到所述柱面全景圖像。

3.根據權利要求2所述的方法，其特征在于，所述根據所述多張場景圖像，建立三維柱坐標系，包括：

對所述多張場景圖像中每張場景圖像進行特征提取，得到多張特征圖；

根據所述多張特征圖，確定相機在拍攝所述每張場景圖像時對應的相機位姿；

根據拍攝所述每張場景圖像時對應的所述相機位姿，擬合得到相機對所述目標場景進行拍攝時的運動軌跡；其中，所述運動軌跡與目標圖形所包括的弧線重疊；

將所述目標圖形的中心位置作為三維柱坐標系的中心位置，在三維空間中建立所述三維柱坐標系。

4.根據權利要求2所述的方法，其特征在于，所述將所述多張場景圖像中每張場景圖像所包括的每個像素點映射到所述三維柱坐標系中，得到所述柱面全景圖像，包括：

根據所述柱面全景圖像對應的預設尺寸，確定將所述三維柱坐標系中的三維柱坐標點映射為二維坐標點的第一映射關系；

根據所述第一映射關系，根據反向投影方式，確定將所述二維坐標點映射為所述三維柱坐標點的第二映射關系；

根據所述第二映射關系，將所述多張場景圖像中每張場景圖像所包括的每個像素點映射到所述三維柱坐標系中，得到所述柱面全景圖像。

5.根據權利要求1所述的方法，其特征在于，所述柱面全景圖像包括不同深度值對應的柱面圖；所述根據所述柱面全景圖像，生成所述目標場景對應的全景顏色圖像和全景深度圖像，包括：

根據所述不同深度值對應的柱面圖，分別確定所述不同深度值對應的深度概率圖像、以及所述不同深度值對應的全景顏色圖像；

根據所述不同深度值對應的所述深度概率圖像，確定所述目標場景對應的所述全景深度圖像；

根據所述不同深度值對應的所述深度概率圖、以及所述不同深度值對應的全景顏色圖像，確定所述目標場景對應的所述全景顏色圖像。

6.根據權利要求5所述的方法，其特征在于，所述根據所述不同深度值對應的柱面圖，分別確定所述不同深度值對應的深度概率圖像、以及所述不同深度值對應的全景顏色圖像，包括：

將所述不同深度值對應的柱面圖輸入預先訓練好的深度預測子網絡，得到所述不同深度值對應的所述深度概率圖像；

將所述不同深度值對應的柱面圖輸入預先訓練好的顏色預測子網絡，得到所述不同深度值對應的全景顏色圖像。

7.根據權利要求5所述的方法，其特征在于，所述根據所述不同深度值對應的所述深度概率圖，生成所述目標場景對應的所述全景深度圖像，包括：

確定所述不同深度值對應的深度概率圖的期望值，得到所述目標場景對應的所述全景深度圖像。

8.根據權利要求5所述的方法，其特征在于，所述根據所述不同深度值對應的所述深度概率圖、以及所述不同深度值對應的全景顏色圖，生成所述目標場景對應的所述全景顏色圖像，包括：

對所述不同深度值對應的所述深度概率圖和所述不同深度值對應的全景顏色圖進行加權求和，得到所述目標場景對應的所述全景顏色圖像。