[發(fā)明專利]全景圖生成方法及裝置

有效

• 申請?zhí)枺?/td>: 201710763579.0
• 申請日: 2017-08-30
• 公開（公告）號: CN107563959B
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 楊剛;劉攀
• 申請（專利權(quán)）人: 北京林業(yè)大學(xué)
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T3/60
• 代理公司: 北京太合九思知識產(chǎn)權(quán)代理有限公司 11610
• 代理人: 劉戈

1.一種全景圖生成方法，其特征在于，包括：

獲取智能移動設(shè)備通過魚眼鏡頭對真實(shí)場景進(jìn)行旋轉(zhuǎn)拍攝得到的至少兩張?jiān)级S圖像，其中，相鄰原始二維圖像的邊界重合或相交；

獲取所述智能移動設(shè)備在拍攝所述至少兩張?jiān)级S圖像中的每張?jiān)级S圖像時(shí)在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣；

根據(jù)所述智能移動設(shè)備在拍攝每張?jiān)级S圖像時(shí)在所述世界坐標(biāo)系中的旋轉(zhuǎn)矩陣，確定所述至少兩張?jiān)级S圖像之間的相對位置；

根據(jù)所述至少兩張?jiān)级S圖像之間的相對位置，將所述至少兩張?jiān)级S圖像拼接成全景圖；

在根據(jù)所述至少兩張?jiān)级S圖像之間的相對位置，將所述至少兩張?jiān)级S圖像拼接成全景圖之前，還包括：

創(chuàng)建用于保存所述全景圖的幀緩沖區(qū)，以及與所述幀緩沖區(qū)綁定的、對應(yīng)所述全景圖的分辨率的紋理空間；

在圖形程序接口中實(shí)現(xiàn)用于將所述至少兩張?jiān)级S圖像拼接成所述全景圖的渲染管線；

其中，所述根據(jù)所述至少兩張?jiān)级S圖像之間的相對位置，將所述至少兩張?jiān)级S圖像拼接成全景圖，包括：

采用GPU加速技術(shù)，通過所述圖形程序接口的渲染管線，將所述至少兩張?jiān)级S圖像渲染到所述紋理空間中；

通過所述圖形程序接口讀取所述紋理空間中的圖像信息，并保存至所述幀緩沖區(qū)中，以得到所述全景圖；

所述根據(jù)所述至少兩張?jiān)级S圖像之間的相對位置，將所述至少兩張?jiān)级S圖像拼接成全景圖，包括：

對所述至少兩張?jiān)级S圖像進(jìn)行畸變校正，以得到設(shè)備坐標(biāo)系下的至少兩張待拼接二維圖像；

根據(jù)所述至少兩張?jiān)级S圖像之間的相對位置以及拍攝每張?jiān)级S圖像時(shí)的設(shè)備坐標(biāo)系與二維全景圖坐標(biāo)系之間的映射關(guān)系，將所述設(shè)備坐標(biāo)系下的所述至少兩張待拼接二維圖像投影到所述二維全景圖坐標(biāo)系下，以得到所述至少兩張待融合二維圖像；

融合所述至少兩張待融合二維圖像，以生成所述全景圖；

其中，所述二維全景圖坐標(biāo)系為將三維全景圖坐標(biāo)系二維展開后的坐標(biāo)系。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述智能移動設(shè)備在拍攝每張?jiān)级S圖像時(shí)在所述世界坐標(biāo)系中的旋轉(zhuǎn)矩陣，確定所述至少兩張?jiān)级S圖像之間的相對位置，包括：

根據(jù)所述智能移動設(shè)備在拍攝每張?jiān)级S圖像時(shí)的設(shè)備坐標(biāo)系相對于所述世界坐標(biāo)系的旋轉(zhuǎn)矩陣，計(jì)算所述至少兩張?jiān)级S圖像之間的相對歐拉角。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述智能移動設(shè)備在拍攝每張?jiān)级S圖像時(shí)的設(shè)備坐標(biāo)系相對于所述世界坐標(biāo)系的旋轉(zhuǎn)矩陣，計(jì)算所述至少兩張?jiān)级S圖像之間的相對歐拉角，包括：

從所述至少兩張?jiān)级S圖像中，選擇一張?jiān)级S圖像作為基準(zhǔn)二維圖像；

根據(jù)拍攝所述至少兩張?jiān)级S圖像中其它原始二維圖像時(shí)的設(shè)備坐標(biāo)系相對于所述世界坐標(biāo)系的旋轉(zhuǎn)矩陣以及拍攝所述基準(zhǔn)二維圖像時(shí)的設(shè)備坐標(biāo)系相對于所述世界坐標(biāo)系的旋轉(zhuǎn)矩陣，計(jì)算所述其它原始二維圖像相對于所述基準(zhǔn)二維圖像的旋轉(zhuǎn)矩陣；

將所述基準(zhǔn)二維圖像的歐拉角作為基準(zhǔn)歐拉角，根據(jù)所述其它原始二維圖像相對于所述基準(zhǔn)圖像的旋轉(zhuǎn)矩陣，得到所述其它原始二維圖像相對于所述基準(zhǔn)二維圖像的歐拉角。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述至少兩張?jiān)级S圖像之間的相對位置以及拍攝每張?jiān)级S圖像時(shí)的設(shè)備坐標(biāo)系與所述二維全景圖坐標(biāo)系之間的映射關(guān)系，將所述設(shè)備坐標(biāo)系下的所述至少兩張待拼接二維圖像投影到所述二維全景圖坐標(biāo)系下，以得到所述至少兩張待融合二維圖像，包括：

根據(jù)所述基準(zhǔn)二維圖像的基準(zhǔn)歐拉角、所述其它原始二維圖像相對于所述基準(zhǔn)二維圖像的歐拉角以及所述智能移動設(shè)備的拍攝參數(shù)，獲取拍攝每張?jiān)级S圖像時(shí)的設(shè)備坐標(biāo)系與所述二維全景圖坐標(biāo)系之間的映射關(guān)系；

根據(jù)所述二維全景圖坐標(biāo)系下的點(diǎn)坐標(biāo)以及拍攝每張?jiān)级S圖像時(shí)的設(shè)備坐標(biāo)系與所述二維全景圖坐標(biāo)系之間的映射關(guān)系，計(jì)算每張待拼接二維圖像在其對應(yīng)的設(shè)備坐標(biāo)系下的整數(shù)點(diǎn)坐標(biāo)；

將每張待拼接二維圖像在其對應(yīng)的設(shè)備坐標(biāo)系下的整數(shù)點(diǎn)坐標(biāo)所對應(yīng)的像素值作為所述二維全景圖坐標(biāo)系中對應(yīng)點(diǎn)坐標(biāo)的像素值，以獲得所述至少兩張待融合二維圖像。