[發明專利]一種基于球幕相機的全景拼接融合方法、系統及存儲介質

有效

• 申請號: 202010955435.7
• 申請日: 2020-09-11
• 公開（公告）號: CN112085659B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 崔巖;劉強
• 申請（專利權）人: 中德（珠海）人工智能研究院有限公司;珠海市四維時代網絡科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00
• 代理公司: 深圳德高智行知識產權代理事務所(普通合伙) 44696
• 代理人: 吳襄帥

1.一種基于球幕相機的全景拼接融合方法，其特征在于包括下列步驟：

S1通過球幕相機獲取真實場景中的靜態圖像及視頻流；

S2對所述球幕相機進行標定及對所述靜態圖像進行預處理；

S3將經預處理后的所述靜態圖像拼接成為靜態三維全景圖；

S4將所述視頻流進行預處理后與所述靜態三維全景圖進行配準融合，形成融合視頻流的動態三維全景圖；

S5 將所述動態三維全景圖輸出至顯示終端進行動態展示；

所述步驟S4中將所述視頻流進行預處理后與所述靜態三維全景圖進行配準融合，還包括：所述處理后的視頻流通過所述球幕相機內置的視頻定位模塊與所述靜態三維全景圖中拼接點進行配準及拼接；

或，

所述步驟S4中將所述視頻流進行預處理后與所述靜態三維全景圖進行配準融合，還包括：

通過構建視頻關鍵幀空間定位算法將所述處理后的視頻流與所述靜態三維全景圖中拼接點進行配準；利用全景靜態圖像拼接算法對所述配準后的視頻流和所述靜態三維全景圖中拼接點進行拼接融合。

2.根據權利要求1所述的一種基于球幕相機的全景拼接融合方法，其特征在于，所述步驟S2中進一步包括：

建立所述球幕相機的參數自標定模型，并計算所述球幕相機的畸變系數，結合畸變模型對所述靜態圖像進行畸變修正。

3.根據權利要求1所述的一種基于球幕相機的全景拼接融合方法，其特征在于，所述步驟S3中進一步包括：

S31將預處理后的所述靜態圖像通過全景靜態圖像拼接算法拼接成初步三維全景圖；

S32將所述初步三維全景圖中多張所述靜態圖像的拼接處進行融合處理形成所述靜態三維全景圖。

4.根據權利要求3所述的一種基于球幕相機的全景拼接融合方法，其特征在于，所述融合處理包含利用掩模及模糊算法對所述初步三維全景圖中多張所述靜態圖像的拼接處進行融合。

5.根據權利要求1所述的一種基于球幕相機的全景拼接融合方法，其特征在于，所述步驟S4中還包含對所述動態三維全景圖中遮擋區域進行優化處理。

6.根據權利要求1所述的一種基于球幕相機的全景拼接融合方法，其特征在于，所述步驟S5中還包括:利用顯示終端對動態三維全景圖進行顯示，當用戶漫游至圖像中視頻流插入位置處，視頻會進行動態播放。

7.一種基于球幕相機的全景拼接融合系統，其特征在于，包括：采集模塊、拼接融合模塊、通信模塊以及顯示模塊；

所述采集模塊，用于獲取真實場景中的靜態圖像及視頻流，并將獲取的所述靜態圖像及所述視頻流存儲于所述采集模塊中；

所述拼接融合模塊，用于對所述采集模塊獲取的所述靜態圖像進行拼接，生成靜態三維全景圖，以及將所述視頻流與所述靜態三維全景圖進行配準融合，以生成動態三維全景圖；

所述顯示模塊，用于顯示生成的動態三維全景圖；

所述通信模塊，用于各模塊及各子模塊之間的通信連接；

將所述視頻流與所述靜態三維全景圖進行配準融合，包括：處理后的視頻流通過所述球幕相機內置的視頻定位模塊與所述靜態三維全景圖中拼接點進行配準及拼接；

或，

將所述視頻流與所述靜態三維全景圖進行配準融合，包括：

通過構建視頻關鍵幀空間定位算法將處理后的視頻流與所述靜態三維全景圖中拼接點進行配準；利用全景靜態圖像拼接算法對所述配準后的視頻流和所述靜態三維全景圖中拼接點進行拼接融合。