[發明專利]全景圖生成方法、裝置、計算機可讀存儲介質及電子設備

在審

• 申請號: 202010196117.7
• 申請日: 2020-03-19
• 公開（公告）號: CN111402136A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 饒童;楊永林;陳昱彤
• 申請（專利權）人: 貝殼技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/73;G06T7/80
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本公開實施例公開了一種全景圖生成方法和裝置，其中，該方法包括：獲取用于生成全景圖的至少兩個圖像序列；基于至少兩個圖像序列的拍攝方式，確定至少兩個圖像序列中的有效圖像，并確定有效圖像之間的連接關系；確定相機的內參；基于內參和連接關系，確定有效圖像對應的相機姿態角；基于相機姿態角，將有效圖像映射至以相機為中心的映射面，得到全景圖。本公開實施例可以根據不同用戶的習慣，采用不同方式生成大視場角的全景圖，提高了生成全景圖的靈活性和效率。

技術領域

本公開涉及計算機技術領域，尤其是一種全景圖生成方法、裝置、計算機可讀存儲介質及電子設備。

背景技術

目前，全景圖被廣泛地應用于VR場景。在一些領域，諸如地圖、房屋租賃、室內裝修等領域，使用全景圖可以以近似實景的方式向用戶展示周圍的環境。同時全景圖包含了大量的場景信息，能有效地應用于深度圖估計算法。

在全景圖的拍攝過程中，通常需要用戶手持相機原地以豎直方向為軸旋轉一周，因此，拍攝的全景圖的垂直方向的視場角有限。

發明內容

為了解決上述技術問題，提出了本公開。本公開的實施例提供了一種全景圖生成方法、裝置、計算機可讀存儲介質及電子設備。

本公開的實施例提供了一種全景圖生成方法，該方法包括：獲取用于生成全景圖的至少兩個圖像序列，其中，至少兩個圖像序列包括至少一個離散方式拍攝的圖像序列；基于至少兩個圖像序列的拍攝方式，確定至少兩個圖像序列中的有效圖像，并確定有效圖像之間的連接關系；確定相機的內參；基于內參和連接關系，確定有效圖像對應的相機姿態角；基于相機姿態角，將有效圖像映射至以相機為中心的映射面，得到全景圖。

在一些實施例中，基于至少兩個圖像序列的拍攝方式，確定至少兩個圖像序列中的有效圖像，并確定有效圖像之間的連接關系，包括：響應于確定至少兩個圖像序列中的每個圖像序列為橫向離散方式拍攝得到的，對于至少兩個圖像序列中的每個圖像序列，確定圖像序列中的每個圖像為有效圖像，并通過特征提取與特征匹配確定圖像序列中的圖像之間的連接關系。

在一些實施例中，基于相機姿態角，將有效圖像映射至以相機為中心的映射面，得到全景圖，包括：調整豎直方向排列的圖像的偏航角至一致；對于至少兩個圖像序列中的每個圖像序列，基于圖像序列中的每個圖像的調整偏航角后的相機姿態角，將圖像序列中的每個圖像映射至映射面，得到圖像序列對應的子全景圖。確定所得到的各個子全景圖的特征；基于各個子全景圖的特征，合并各個子全景圖，得到最終的全景圖。

在一些實施例中，基于至少兩個圖像序列的拍攝方式，確定至少兩個圖像序列中的有效圖像，并確定有效圖像之間的連接關系，包括：響應于確定至少兩個圖像序列中的每個圖像序列為縱向離散方式拍攝得到的，對于至少兩個圖像序列中的每個圖像序列，確定圖像序列中的目標圖像與其他圖像之間的映射關系；基于映射關系，將其他圖像融合至目標圖像，得到圖像序列對應的融合圖像作為有效圖像；通過特征提取與特征匹配確定所得到的各個融合圖像之間的連接關系。

在一些實施例中，基于相機姿態角，將有效圖像映射至以相機為中心的映射面，得到全景圖，包括：對于各個融合圖像中的每個融合圖像，將融合圖像映射至映射面，得到融合圖像對應的子全景圖；確定所得到的各個子全景圖的特征；基于各個子全景圖的特征，合并各個子全景圖，得到最終的全景圖。

在一些實施例中，基于至少兩個圖像序列的拍攝方式，確定至少兩個圖像序列中的有效圖像，并確定有效圖像之間的連接關系，包括：響應于確定至少兩個圖像序列中的第一圖像序列為橫向離散方式拍攝得到的，且其他圖像序列為橫向連續方式拍攝得到的，確定第一圖像序列包括的每個圖像為有效圖像；并通過特征提取與特征匹配確定第一圖像序列中的每個圖像之間的連接關系；對于其他圖像序列中的每個圖像序列，確定圖像序列中的關鍵幀圖像為有效圖像，并通過特征提取與特征匹配確定關鍵幀圖像與間圖像序列之間的連接關系。