[發明專利]圖像處理方法、裝置、設備和計算機可讀存儲介質

在審

• 申請號: 202110156554.0
• 申請日: 2021-02-04
• 公開（公告）號: CN112837424A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 羅琳捷;劉晶;陳志立;王國暉;楊驍;楊建朝;連曉晨
• 申請（專利權）人: 臉萌有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/33;G06T7/73
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張亮

本公開提供了一種圖像處理方法、裝置、設備和計算機可讀存儲介質。該圖像處理方法包括：獲取目標對象的三維采樣點集合、通過圖像獲取裝置獲取的關于所述目標對象的第一幀圖像和第二幀圖像以及與所述第一幀圖像對應的、圖像獲取裝置相對于所述目標對象的第一幀位姿；以及基于所述三維采樣點集合和第一幀位姿對所述目標對象進行跟蹤匹配，以獲取與所述第二幀圖像對應的、圖像獲取裝置相對于所述目標對象的第二幀位姿。

技術領域

本公開涉及圖像處理領域，更具體地，本公開涉及一種圖像處理方法、裝置、設備和計算機可讀存儲介質。

背景技術

增強現實(Augmented Reality，AR)，指通過計算機系統提供的信息增加用戶對現實世界感知的技術，將虛擬的信息應用到真實世界，并將計算機生成的虛擬對象、場景或系統提示信息疊加到真實場景中，從而實現對現實的增強。如何追蹤目標對象在三維空間的平移、轉動(六自由度追蹤)是增強現實應用中的一個核心問題。現有的追蹤方法通常需要預先知道目標對象的幾何形狀，以便準確的判斷圖像中的點和目標對象上的點的對應關系。然而，并不是所有的目標對象都能預先獲取很好的幾何形狀(比如很多三維重建方法的結果是點云)，因此，對于幾何形狀的依賴使追蹤算法的可用性受到局限，也增加了額外的存儲負擔。此外，判斷圖像上的點和目標對象的幾何形狀上的點的對應關系需要額外的計算開銷。

發明內容

鑒于上述問題而提出了本公開。本公開提供了一種圖像處理方法、裝置、設備和計算機可讀存儲介質。

根據本公開的一個方面，提供了一種圖像處理方法，包括：獲取目標對象的三維采樣點集合、通過圖像獲取裝置獲取的關于所述目標對象的第一幀圖像和第二幀圖像以及與所述第一幀圖像對應的、圖像獲取裝置相對于所述目標對象的第一幀位姿；以及基于所述三維采樣點集合和第一幀位姿對所述目標對象進行跟蹤匹配，以獲取與所述第二幀圖像對應的、圖像獲取裝置相對于所述目標對象的第二幀位姿。

根據本公開的一個示例，所述基于所述三維采樣點集合和第一幀位姿對所述目標對象進行跟蹤匹配，以獲取與所述第二幀圖像對應的、圖像獲取裝置相對于所述目標對象的第二幀位姿包括：利用所述第一幀位姿，獲取所述三維采樣點集合到所述第一幀圖像的第一幀投影點集合、以及表示所述三維采樣點集合與所述第一幀投影點集合之間的對應關系的第一幀對應集合；利用所述第一幀投影點集合和所述第一幀對應集合，獲取表示所述三維采樣點集合與所述三維采樣點集合到所述第二幀圖像的第二投影點集合之間的對應關系的第二幀對應集合；以及利用所述第二幀對應集合，獲取所述第二幀位姿。

根據本公開的一個示例，所述利用所述第一幀投影點集合和所述第一幀對應集合，獲取表示所述三維采樣點集合與所述三維采樣點集合到所述第二幀圖像的第二投影點集合之間的對應關系的第二幀對應集合包括：利用所述第一幀投影點集合，獲取所述三維采樣點集合到所述第二幀圖像的第二幀投影點集合；以及利用所述第一幀對應集合、所述第一幀投影點集合和所述第二幀投影點集合，獲取表示所述三維采樣點集合與所述第二投影點集合之間的對應關系的第二幀對應集合。

根據本公開的一個示例，所述利用所述第二幀對應集合，獲取所述第二幀位姿包括：利用位姿估計方法，基于所述第二幀對應集合獲取所述第二幀位姿。

根據本公開的一個示例，所述方法還包括：利用位姿估計方法，基于所述第二幀對應集合獲取所述第二幀位姿和所述第二投影點集合中未出錯的投影點集合；以及通過判斷所述未出錯的投影點集合中元素的數量是否大于第一預定閾值來獲取跟蹤匹配結果。

根據本公開的一個示例，所述通過判斷所述未出錯的投影點集合中元素的數量是否大于第一預定閾值來獲取跟蹤匹配結果包括：若判斷出所述未出錯的投影點集合中元素的數量大于所述第一預定閾值，則獲取跟蹤匹配成功的結果，并輸出第二幀位姿；以及若判斷出所述未出錯的投影點集合中元素的數量不大于所述第一預定閾值，則獲取跟蹤匹配失敗的結果，且不輸出第二幀位姿。