[發明專利]一種基于球幕相機的全景拼接融合方法、系統及存儲介質

有效

• 申請號: 202010955435.7
• 申請日: 2020-09-11
• 公開（公告）號: CN112085659B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 崔巖;劉強
• 申請（專利權）人: 中德（珠海）人工智能研究院有限公司;珠海市四維時代網絡科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00
• 代理公司: 深圳德高智行知識產權代理事務所(普通合伙) 44696
• 代理人: 吳襄帥

本發明涉及一種基于球幕相機的全景拼接融合方法、系統及存儲介質，其方法具體步驟為：S1通過球幕相機獲取靜態圖像及視頻流；S2對球幕相機進行標定及對靜態圖像進行預處理；S3將經預處理后的靜態圖像拼接成為靜態三維全景圖；S4將視頻流進行預處理后與靜態三維全景圖進行配準融合，形成動態三維全景圖；S5將動態三維全景圖輸出至顯示終端進行動態展示。其系統具體包括有：采集模塊、拼接融合模塊、顯示模塊及通信模塊。還涉及了可執行本發明方法及系統的計算機存儲介質。本發明可實現將視頻流融入到靜態三維全景圖中，極大程度的還原場景中的真實狀態，有效克服傳統技術存在的拼接后面畫面斷裂及出現“鬼影”的問題，增強用戶沉浸式視覺體驗。

技術領域

本發明涉及圖像處理技術領域，特別涉及一種基于球幕相機的全景拼接融合方法、系統及存儲介質。

背景技術

21世紀是一個充滿信息的時代，圖像作為人類感知世界的視覺基礎，是人類獲取信息、表達信息和傳遞信息的重要手段。數字圖像處理，即用計算機對圖像進行處理，其發展歷史并不長。數字圖像處理技術源于20世紀20年代，當時通過海底電纜從英國倫敦到美國紐約傳輸了一幅照片，采用了數字壓縮技術。首先數字圖像處理技術可以幫助人們更客觀、準確地認識世界，人的視覺系統可以幫助人類從外界獲取3/4以上的信息，而圖像、圖形又是所有視覺信息的載體，盡管人眼的鑒別力很高，可以識別上千種顏色，但很多情況下，圖像對于人眼來說是模糊的甚至是不可見的，通過圖象增強技術，可以使模糊甚至不可見的圖像變得清晰明亮。

現有技術中已經公開有很多有關圖像處理的技術，例如：申請號為CN201610715322.3的一種全景拼接方法，其基本步驟主要包括：攝像機的標定；圖像坐標變換；傳感器圖像畸變校正；圖像的投影變換；匹配點選取；全景圖像融合；亮度與顏色的均衡處理。本發明的有益效果是：本發明實現將兩幅以上的分區圖合成全景圖，可形成360度無視角死區，高清晰度的全景圖，令細節表現更完美，增強了真實感和現場感，全景圖的數據量較小，分區圖合成全景圖顯示對硬件要求低，有助于滿足監控攝像頭在長期作業過程中產生的巨大數據量。但該全景拼接方法合成的全景圖多為靜態圖像，無法充分完整的還原出原始場景的真實狀態。

申請號為CN108510445A的一種全景圖像拼接方法，包括步驟：獲取全景相機每路攝像頭所拍攝的原始圖像，并對各原始圖像進行圖像畸變矯正；對畸變矯正后的圖像進行縮放處理得到待融合圖像；計算全景相機各攝像頭的待融合圖像在融合區內的最優縫合中心線，融合區包括第一融合區和第二融合區，第一融合區由位于各待融合圖像的頂部且相互重疊的區域構成，第二融合區由相鄰兩幅待融合圖像其邊緣相互重疊的區域構成；基于最優縫合中心線計算第一融合區與第二融合區的權重表；根據第一融合區和第二融合區的權重表對所有待融合圖像進行融合；對融合后的圖像進行圖像拉伸。

由上述可知，在現有技術中，通常利用全景相機對真實場景進行360度拍攝得到多組圖像，并利用全景拼接技術自動拼接得到真實場景的一張完整的全景圖像，但該全景圖多為靜態圖像，無法充分完整的還原出原始場景的真實狀態。此外全景相機自動拼接的全景圖像，在圖像拼接邊緣處會出現拼接縫，進而造成全景畫面斷裂不連續，具有一定的局限性，用戶體實時預覽體驗感較差。

上述公開于該背景技術部分的信息僅僅旨在增加對本發明的總體背景的理解，而不應當被視為承認或以任何形式暗示該信息構成已為本領域一般技術人員所公知的現有技術。

發明內容

為解決背景技術中的技術問題，本發明提供一種基于球幕相機的全景拼接融合方法、系統及存儲介質。

根據本發明提供的一種基于球幕相機的全景拼接融合方法，包括下列步驟：

S1通過球幕相機獲取真實場景中的靜態圖像及視頻流；

S2對球幕相機進行標定及對靜態圖像進行預處理；

S3將經預處理后的靜態圖像拼接成為靜態三維全景圖；