[發明專利]圖像處理方法和裝置

有效

• 申請號: 202110177906.0
• 申請日: 2021-02-08
• 公開（公告）號: CN112819892B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 齊越;謝振威;王君義;高連生;李弘毅
• 申請（專利權）人: 北京航空航天大學;深圳北航新興產業技術研究院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/40;G06T19/00;G06V10/44;G06V10/46;G06V10/75
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張娜;劉芳

本申請實施例提供了一種圖像處理方法和裝置，在對圖像進行渲染時，獲取待處理視頻中各幀圖像的紋理特征點信息，和各幀圖像中的標志物信息；并根據各幀圖像的紋理特征點信息，和各幀圖像中的標志物信息，確定待處理視頻中相機的位姿和各標志物中目標標志物的位姿；根據相機的位姿和目標標志物的位姿，確定預設虛擬圖像在各幀圖像中的目標位置；基于目標位置，對各幀圖像進行渲染，得到包含預設虛擬圖像的各幀目標圖像。這樣通過圖像中的紋理特征點信息和標志物信息共同確定相機的位姿，能夠避免因紋理特征信息較少而使得確定出的相機位姿的準確度較低，提高了相機位姿的準確度，從而提高了對原始圖像的渲染結果的準確度。

技術領域

本申請涉及增強現實技術領域，尤其涉及一種圖像處理方法和裝置。

背景技術

增強現實(Augmented Reality，簡稱AR)技術是一種將虛擬信息與真實世界巧妙融合的技術，增強現實技術在生活娛樂，智能家居，工業制造等領域下的應用越來越廣泛，特別是增強現實中的三維注冊技術，其通過相機對現實場景的拍攝采集場景信息，讓設備得到現實場景中關鍵物體的位置并對相機位置的變化進行跟蹤。

現有技術中，通常使用即時定位與地圖構建(simultaneous localization andmapping，簡稱SLAM)的三維注冊方法，該方案通過相機等設備采集現實環境的信息，并提取現實環境信息中的紋理特征信息；根據特征提取算法提取紋理特征信息中的特征點信息，再基于特征點信息確定相機姿態，從而根據相機姿態對原始圖像進行渲染，得到虛實融合的圖像。

但是，在基于特征點信息確定相機姿態時，會存在因現實環境中的紋理特征信息較少而使得確定出的相機位姿的準確度較低，從而導致對原始圖像的渲染結果的準確度較低。

發明內容

本申請實施例提供了一種圖像處理方法和裝置，提高了相機位姿的準確度，從而提高了對原始圖像的渲染結果的準確度。

第一方面，本申請實施例提供了一種圖像處理方法，所述圖像處理方法包括：

獲取待處理視頻中各幀圖像的紋理特征點信息，和所述各幀圖像中的標志物信息。

根據所述各幀圖像的紋理特征點信息，和所述各幀圖像中的標志物信息，確定所述待處理視頻中相機的位姿和所述各標志物中目標標志物的位姿。

根據所述相機的位姿和所述目標標志物的位姿，確定預設虛擬圖像在所述各幀圖像中的目標位置。

基于所述目標位置，對所述各幀圖像進行渲染，得到包含所述預設虛擬圖像的各幀目標圖像。

在一種可能的實現方式中，所述根據所述相機的位姿和所述目標標志物的位姿，確定預設虛擬圖像在所述各幀圖像中的目標位置，包括：

對所述相機的位姿和所述目標標志物的位姿進行解析，建立所述相機的位姿和所述目標標志物的位姿之間的轉換關系。

根據所述轉換關系以及所述預設虛擬圖像的參數，確定所述預設虛擬圖像在所述各幀圖像中的目標位置。

在一種可能的實現方式中，標志物信息包括所述標志物的特征點，所述根據所述各幀圖像的紋理特征點信息，和所述各幀圖像中的標志物信息，確定所述待處理視頻中相機的位姿和所述各標志物中目標標志物的位姿，包括：

將所述待處理視頻中任意連續兩幀圖像中的目標標志物的特征點進行匹配。

將特征點匹配度最高的兩幀圖像確定為連續兩幀待使用圖像。

根據所述各幀圖像的紋理特征點信息和所述連續兩幀待使用圖像中的目標標志物，確定所述待處理視頻中相機的位姿和所述各標志物中目標標志物的位姿。