[發(fā)明專利]全景圖生成方法、裝置、計算機可讀存儲介質(zhì)及電子設備

在審

• 申請?zhí)枺?/td>: 202010196117.7
• 申請日: 2020-03-19
• 公開（公告）號: CN111402136A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設計）人: 饒童;楊永林;陳昱彤
• 申請（專利權(quán)）人: 貝殼技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/73;G06T7/80
• 代理公司: 北京思源智匯知識產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種全景圖生成方法，包括：

獲取用于生成全景圖的至少兩個圖像序列，其中，所述至少兩個圖像序列包括至少一個離散方式拍攝的圖像序列；

基于所述至少兩個圖像序列的拍攝方式，確定所述至少兩個圖像序列中的有效圖像，并確定所述有效圖像之間的連接關系；

確定所述相機的內(nèi)參；

基于所述內(nèi)參和所述連接關系，確定所述有效圖像對應的相機姿態(tài)角；

基于所述相機姿態(tài)角，將所述有效圖像映射至以所述相機為中心的映射面，得到全景圖。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述至少兩個圖像序列的拍攝方式，確定所述至少兩個圖像序列中的有效圖像，并確定所述有效圖像之間的連接關系，包括：

響應于確定所述至少兩個圖像序列中的每個圖像序列為橫向離散方式拍攝得到的，對于所述至少兩個圖像序列中的每個圖像序列，確定所述圖像序列中的每個圖像為有效圖像，并通過特征提取與特征匹配確定所述圖像序列中的圖像之間的連接關系。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述基于所述相機姿態(tài)角，將所述有效圖像映射至以所述相機為中心的映射面，得到全景圖，包括：

調(diào)整豎直方向排列的圖像的偏航角至一致；

對于所述至少兩個圖像序列中的每個圖像序列，基于所述圖像序列中的每個圖像的調(diào)整偏航角后的相機姿態(tài)角，將所述圖像序列中的每個圖像映射至所述映射面，得到所述圖像序列對應的子全景圖；

確定所得到的各個子全景圖的特征；

基于所述各個子全景圖的特征，合并所述各個子全景圖，得到最終的全景圖。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述至少兩個圖像序列的拍攝方式，確定所述至少兩個圖像序列中的有效圖像，并確定所述有效圖像之間的連接關系，包括：

響應于確定所述至少兩個圖像序列中的每個圖像序列為縱向離散方式拍攝得到的，對于所述至少兩個圖像序列中的每個圖像序列，確定所述圖像序列中的目標圖像與其他圖像之間的映射關系；基于所述映射關系，將所述其他圖像融合至目標圖像，得到所述圖像序列對應的融合圖像作為有效圖像；

通過特征提取與特征匹配確定所得到的各個融合圖像之間的連接關系。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述基于所述相機姿態(tài)角，將所述有效圖像映射至以所述相機為中心的映射面，得到全景圖，包括：

對于所述各個融合圖像中的每個融合圖像，將所述融合圖像映射至所述映射面，得到所述融合圖像對應的子全景圖；

確定所得到的各個子全景圖的特征；

基于所述各個子全景圖的特征，合并所述各個子全景圖，得到最終的全景圖。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述至少兩個圖像序列的拍攝方式，確定所述至少兩個圖像序列中的有效圖像，并確定所述有效圖像之間的連接關系，包括：

響應于確定所述至少兩個圖像序列中的第一圖像序列為橫向離散方式拍攝得到的，且其他圖像序列為橫向連續(xù)方式拍攝得到的，確定所述第一圖像序列包括的每個圖像為有效圖像；并通過特征提取與特征匹配確定所述第一圖像序列中的每個圖像之間的連接關系；

對于所述其他圖像序列中的每個圖像序列，確定所述圖像序列中的關鍵幀圖像為有效圖像，并通過特征提取與特征匹配確定所述關鍵幀圖像與所述間圖像序列之間的連接關系。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述基于所述相機姿態(tài)角，將所述有效圖像映射至以所述相機為中心的映射面，得到全景圖，包括：

將所述第一圖像序列中的每個圖像映射至所述映射面，得到所述第一圖像序列對應的子全景圖；

將所述關鍵幀圖像映射至所述映射面，得到映射圖像；

確定所述映射圖像與所述子全景圖的特征；

基于所述映射圖像與所述子全景圖的特征，合并所述映射圖像和所述子全景圖，得到最終的全景圖。