[發(fā)明專利]增強現(xiàn)實圖像顯示方法、裝置及圖像處理設(shè)備

有效

• 申請?zhí)枺?/td>: 201910942914.2
• 申請日: 2019-09-30
• 公開（公告）號: CN110675348B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計）人: 張盛
• 申請（專利權(quán)）人: 杭州棲金科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 謝玲

本申請?zhí)峁┮环N增強現(xiàn)實圖像顯示方法、裝置及圖像處理設(shè)備，在本申請?zhí)峁┑姆桨钢校紫全@取真實攝像機的畸變參數(shù)對應(yīng)關(guān)系以及真實攝像機拍攝圖像時的實際拍攝位置和鏡頭變焦參數(shù)。然后，獲取虛擬場景中虛擬元素的圖像。最后，根據(jù)真實攝像機的鏡頭變焦參數(shù)及畸變參數(shù)對應(yīng)關(guān)系對真實攝像機拍攝的真實圖像進行畸變矯正或?qū)λ鎏摂M元素的圖像進行畸變調(diào)整后，將虛擬元素的圖像融合顯示至所述真實圖像上。本申請?zhí)峁┑姆桨缚紤]到了因真實圖像的畸變導致圖案融合時空間透視效果同步的問題，通過調(diào)整真實圖像或虛擬元素的圖像，使真實圖像和虛擬圖像畸變效果保持一致，從而減少了因真實圖像和虛擬圖像的空間透視效果差異帶來的視覺違和感。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種增強現(xiàn)實圖像顯示方法、裝置及圖像處理設(shè)備。

背景技術(shù)

增強現(xiàn)實(Augmented Reality，AR)是一種根據(jù)真實攝像機的拍攝位置及拍攝角度，將虛擬圖像融合顯示到真實圖像上的技術(shù)。隨著圖像處理技術(shù)的日趨精進及用戶對觀感體驗要求的提高，AR圖像融合技術(shù)也在向著高精細度的方向發(fā)展。在一些大型場景的增強現(xiàn)實圖像融合處理中，除了需要考慮真實攝像機的拍攝位置移動，還需要考慮真實攝像機鏡頭變焦縮放(zoom)的動作。如何提高這種場景中虛擬圖像和真實圖像融合的精細度是本領(lǐng)域亟待解決的問題。

發(fā)明內(nèi)容

第一方面，本申請?zhí)峁┮环N增強現(xiàn)實圖像顯示方法，應(yīng)用于圖像處理設(shè)備，所述方法包括：

獲取真實攝像機的畸變參數(shù)對應(yīng)關(guān)系，所述畸變參數(shù)對應(yīng)關(guān)系為該真實攝像機不同的鏡頭變焦參數(shù)與不同的畸變矯正參數(shù)的對應(yīng)關(guān)系；

獲取所述真實攝像機拍攝的真實圖像，并獲取所述真實攝像機在拍攝過程中的實際拍攝位置和鏡頭變焦參數(shù)；

根據(jù)所述實際拍攝位置和鏡頭變焦參數(shù)，獲取虛擬場景中虛擬元素的圖像；

根據(jù)所述真實攝像機的鏡頭變焦參數(shù)及所述畸變參數(shù)對應(yīng)關(guān)系對所述真實圖像進行畸變矯正或?qū)λ鎏摂M元素的圖像進行畸變調(diào)整后，將所述虛擬元素的圖像融合顯示至所述真實圖像上。

可選地，在上述方法中，所述獲取所述真實攝像機的畸變參數(shù)對應(yīng)關(guān)系，包括：

獲取所述真實攝像機拍攝的測試圖像，所述測試圖像中包括預設(shè)參照物；

獲取根據(jù)所述預設(shè)參照物的輪廓對該測試圖像進行手動畸變矯正后得到的畸變矯正參數(shù)；

記錄拍攝該測試圖像時的鏡頭變焦參數(shù)與該測試圖像的畸變矯正參數(shù)的對應(yīng)關(guān)系；

根據(jù)在多個不同焦距下拍攝的所述測試圖像的畸變矯正參數(shù)與鏡頭變焦參數(shù)的對應(yīng)關(guān)系，擬合獲得所述畸變參數(shù)對應(yīng)關(guān)系。

可選地，在上述方法中，所述真實攝像機設(shè)置于可活動的攝像機承載裝置上，所述真實攝像機及所述攝像機承載裝置與一數(shù)據(jù)采集設(shè)備通信連接；所述獲取所述真實攝像機的在拍攝過程中的實際拍攝位置和鏡頭變焦參數(shù)的步驟，包括：

接收所述數(shù)據(jù)采集設(shè)備發(fā)送的報文，從所述報文中解析獲得由所述攝像機承載裝置提供的所述實際拍攝位置及由所述真實攝像機提供的所述鏡頭變焦參數(shù)，其中，所述實際拍攝位置包括所述真實攝像機的空間位置坐標、俯仰角、航向角或翻滾角中的至少一個。

可選地，在上述方法中，所述方法還包括：

獲取真實攝像機的視場角對應(yīng)關(guān)系，所述視場角對應(yīng)關(guān)系為該真實攝像機的不同的鏡頭變焦參數(shù)與不同的視場角參數(shù)的對應(yīng)關(guān)系；

所述根據(jù)所述實際拍攝位置和鏡頭變焦參數(shù)，所述獲取虛擬場景中虛擬元素的圖像，包括：

根據(jù)所述實際拍攝位置、鏡頭變焦參數(shù)及所述視場角對應(yīng)關(guān)系，確定一虛擬攝像機在虛擬場景中的虛擬拍攝位置及虛擬視場角參數(shù)；