[發(fā)明專利]一種全景成像方法和裝置

在審

• 申請?zhí)枺?/td>: 201811191264.4
• 申請日: 2018-10-12
• 公開（公告）號: CN109447901A
• 公開（公告）日: 2019-03-08
• 發(fā)明（設計）人: 伍寬;魏宇騰;魏川
• 申請（專利權）人: 北京雙髻鯊科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/33
• 代理公司: 北京信遠達知識產(chǎn)權代理事務所(普通合伙) 11304
• 代理人: 魏曉波

1.一種全景成像方法，其特征在于，包括：

確定相機采集到的當前幀圖像數(shù)據(jù)的第一矯正圖像和所述當前幀圖像數(shù)據(jù)的上一幀圖像數(shù)據(jù)的第二矯正圖像的匹配點對；

利用所述匹配點對計算所述相機的移動距離和旋轉角度；

基于所述相機的移動距離和旋轉角度，得到所述第一矯正圖像中的地面障礙物特征點，并確定相機與地面的位姿關系；

根據(jù)所述相機與地面的位姿關系，將所述第一矯正圖像轉換為鳥瞰圖，并將鳥瞰圖與地面鳥瞰圖進行拼接，得到全景圖像，其中，所述全景圖像中顯示有所述地面障礙物特征點表征的地面障礙物。

2.根據(jù)權利要求1所述的方法，其特征在于，所述確定相機采集到的當前幀圖像數(shù)據(jù)的第一矯正圖像和所述當前幀圖像數(shù)據(jù)的上一幀圖像數(shù)據(jù)的第二矯正圖像的匹配點對，包括：

獲取相機采集到的當前幀圖像數(shù)據(jù)，對所述當前幀圖像數(shù)據(jù)進行畸變矯正操作，得到所述第一矯正圖像；

獲取所述當前幀圖像數(shù)據(jù)的上一幀圖像數(shù)據(jù)的第二矯正圖像，并確定當前幀圖像數(shù)據(jù)的第一矯正圖像和所述當前幀圖像數(shù)據(jù)的上一幀圖像數(shù)據(jù)的第二矯正圖像的匹配點對。

3.根據(jù)權利要求1所述的方法，其特征在于，所述基于所述相機的移動距離和旋轉角度，得到所述第一矯正圖像中的地面障礙物特征點，并確定相機與地面的位姿關系，包括：

基于所述相機的移動距離和旋轉角度，計算匹配點對中的各匹配點在相機坐標系下的三維坐標；

根據(jù)各匹配點在所述相機坐標系下的三維坐標，將各匹配點中共面的多個匹配點確定為地面特征點，并將各匹配點中的非地面特征點確定為地面障礙物特征點；

對確定出的所述地面特征點進行平面擬合操作，得到地面在相機坐標系中的法向量，從而確定相機與地面的位姿關系。

4.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述相機與地面的位姿關系，將所述第一矯正圖像轉換為鳥瞰圖，并將鳥瞰圖與地面鳥瞰圖進行拼接，得到全景圖像，包括：

根據(jù)所述相機與地面的位姿關系，對所述第一矯正圖像進行旋轉和平移，將所述第一矯正圖像轉換為鳥瞰圖；

獲取所述地面鳥瞰圖，并將所述鳥瞰圖與地面鳥瞰圖進行拼接，得到全景圖像。

5.根據(jù)權利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)所述相機的移動距離和旋轉角度，得到安裝所述相機的車輛的移動距離和旋轉角度；

根據(jù)車輛的移動距離和旋轉角度計算車輛在全景圖像中的位置和方向；

根據(jù)計算得到的所述車輛在全景圖像中的位置和方向，將所述車輛的車輛模型繪制在全景圖像中。

6.一種全景成像裝置，其特征在于，包括：

確定模塊，用于確定相機采集到的當前幀圖像數(shù)據(jù)的第一矯正圖像和所述當前幀圖像數(shù)據(jù)的上一幀圖像數(shù)據(jù)的第二矯正圖像的匹配點對；

計算模塊，用于利用所述匹配點計算所述相機的移動距離和旋轉角度；

處理模塊，用于基于所述相機的移動距離和旋轉角度，得到所述第一矯正圖像中的地面障礙物特征點，并確定相機與地面的位姿關系；

拼接模塊，用于根據(jù)所述相機與地面的位姿關系，將所述第一矯正圖像轉換為鳥瞰圖，并將鳥瞰圖與地面鳥瞰圖進行拼接，得到全景圖像，其中，所述全景圖像中顯示有所述地面障礙物特征點表征的地面障礙物。

7.根據(jù)權利要求6所述的裝置，其特征在于，所述確定模塊，具體用于：

獲取相機采集到的當前幀圖像數(shù)據(jù)，對所述當前幀圖像數(shù)據(jù)進行畸變矯正操作，得到所述第一矯正圖像；

獲取所述當前幀圖像數(shù)據(jù)的上一幀圖像數(shù)據(jù)的第二矯正圖像，并確定當前幀圖像數(shù)據(jù)的第一矯正圖像和所述當前幀圖像數(shù)據(jù)的上一幀圖像數(shù)據(jù)的第二矯正圖像的匹配點對。