[發明專利]基于GPU的攝像頭視頻投影方法、裝置、設備及存儲介質

有效

• 申請號: 202010172352.0
• 申請日: 2020-03-12
• 公開（公告）號: CN111294580B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 高星;程遠初;徐建明;陳奇毅;石立陽
• 申請（專利權）人: 佳都科技集團股份有限公司
• 主分類號: H04N9/31
• 分類號: H04N9/31;H04N5/217
• 代理公司: 北京澤方譽航專利代理事務所(普通合伙) 11884
• 代理人: 唐明磊

1.基于GPU的攝像頭視頻投影方法，其特征在于，包括：

基于棋盤格標定法確定攝像頭的畸變參數，并將所述畸變參數保存在對應攝像頭的相機數據庫中，所述相機數據庫設置于內存中；

基于攝像頭的設備ID，從相機數據庫中獲取對應的畸變參數；基于所述畸變參數計算原始視頻幀和校正視頻幀之間的逐像素映射關系；建立所述逐像素映射關系與設備ID的關聯關系，并將所述逐像素映射關系保存在顯存中，所述校正視頻幀由所述原始視頻幀經畸變校正獲得，所述畸變參數用于對成像效果存在畸變的攝像頭拍攝出的原始視頻幀進行畸變校正，從而得到校正視頻幀，所述畸變參數保存在內存中；

調用數據監視器對相機數據庫中的內外參數和畸變參數進行監視，并在內外參數或畸變參數發生變化時，從內存的相機數據庫中獲取變化后的內外參數和畸變參數，并根據所述內外參數和所述畸變參數重新進行逐像素映射關系的計算，并對原逐像素映射關系進行覆蓋更新；

對攝像頭回傳的視頻流進行GPU硬解碼，得到原始視頻幀；

獲取攝像頭的設備ID，并基于逐像素映射關系與設備ID的關聯關系，從顯存中確定用于對所述原始視頻幀進行畸變校正的逐像素映射關系；

根據所述逐像素映射關系，在GPU中對所述原始視頻幀進行畸變校正，得到校正視頻幀；根據視頻投影的需要對校正視頻幀進行投影預處理，所述投影預處理包括亮度調節、透明度調節以及邊緣裁剪中的一種或多種的組合；

通過顯存拷貝的方式將所述校正視頻幀發送給渲染管線，由渲染管線對所述校正視頻幀進行視頻投影，以將校正視頻幀在三維場景中進行映射和融合。

2.根據權利要求1所述的基于GPU的攝像頭視頻投影方法，其特征在于，所述根據所述逐像素映射關系，在GPU中對所述原始視頻幀進行畸變校正，得到校正視頻幀，包括：

根據所述逐像素映射關系，在GPU中將所述原始視頻幀中的每個像素點轉換為校正視頻幀中的像素點；

根據像素點的對應關系從所述視頻幀中確定所述校正視頻幀中每個像素點的像素數據。

3.基于GPU的攝像頭視頻投影裝置，其特征在于，包括映射關系確定模塊、視頻解碼模塊、畸變校正模塊、視頻投影模塊和預處理模塊，其中：

參數存儲模塊，用于基于棋盤格標定法確定攝像頭的畸變參數，并將所述畸變參數保存在對應攝像頭的相機數據庫中，所述相機數據庫設置于內存中；

映射關系確定模塊，用于基于攝像頭的設備ID，從相機數據庫中獲取對應的畸變參數；基于所述畸變參數計算原始視頻幀和校正視頻幀之間的逐像素映射關系；建立所述逐像素映射關系與設備ID的關聯關系，并將所述逐像素映射關系保存在顯存中，所述畸變參數用于對成像效果存在畸變的攝像頭拍攝出的原始視頻幀進行畸變校正，從而得到校正視頻幀，所述畸變參數保存在內存中；

監視模塊，用于調用數據監視器對相機數據庫中的內外參數和畸變參數進行監視，并在內外參數或畸變參數發生變化時，從內存的相機數據庫中獲取變化后的內外參數和畸變參數，并根據所述內外參數和所述畸變參數重新進行逐像素映射關系的計算，并對原逐像素映射關系進行覆蓋更新；

視頻解碼模塊，用于對攝像頭回傳的視頻流進行GPU硬解碼，得到原始視頻幀；

映射關系獲取模塊，用于獲取攝像頭的設備ID，并基于逐像素映射關系與設備ID的關聯關系，從顯存中確定用于對所述原始視頻幀進行畸變校正的逐像素映射關系；

畸變校正模塊，用于根據所述逐像素映射關系，在GPU中對所述原始視頻幀進行畸變校正，得到校正視頻幀；預處理模塊，用于在所述畸變校正模塊根據所述逐像素映射關系，在GPU中對所述原始視頻幀進行畸變校正，得到校正視頻幀之后，根據視頻投影的需要對校正視頻幀進行投影預處理，所述投影預處理包括亮度調節、透明度調節以及邊緣裁剪中的一種或多種的組合

視頻投影模塊，用于通過顯存拷貝的方式將所述校正視頻幀發送給渲染管線，由渲染管線對所述校正視頻幀進行視頻投影，以將校正視頻幀在三維場景中進行映射和融合。

4.一種計算機設備，其特征在于，包括：存儲器以及一個或多個處理器；

所述存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-2任一所述的基于GPU的攝像頭視頻投影方法。

5.一種包含計算機可執行指令的存儲介質，其特征在于，所述計算機可執行指令在由計算機處理器執行時用于執行如權利要求1-2任一所述的基于GPU的攝像頭視頻投影方法。