[發明專利]一種平面檢測方法及裝置、平面跟蹤方法及裝置

有效

• 申請號: 202010014970.2
• 申請日: 2020-01-07
• 公開（公告）號: CN111242908B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 王寶林;曹世明;周鋒宜;吳濤
• 申請（專利權）人: 青島小鳥看看科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06V10/46;G06V10/75
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 徐雅琴

本發明公開了一種平面檢測方法及裝置、平面跟蹤方法及裝置，該平面檢測方法包括：對雙目攝像頭采集環境場景的當前幀圖像進行劃分，檢測劃分后得到的每個子圖像塊對應的特征點；根據特征點在世界坐標系下的三維坐標信息，獲得當前幀圖像的稀疏點數據集，稀疏點數據集包括多個特征點的三維坐標信息；基于稀疏點數據集對當前幀圖像進行平面檢測，獲取當前幀圖像的最優有效平面，最優有效平面為包含特征點最多的平面；該平面跟蹤方法包括：根據當前幀圖像的最優有效平面，獲取當前幀圖像的多個有效平面，有效平面的平面幀號與對應的圖像的幀號一致；將當前幀圖像的多個有效平面與上一幀圖像的多個有效平面進行融合，確定連續多幀圖像的跟蹤平面。

技術領域

本發明涉及圖像處理技術領域，更具體地，本發明涉及一種平面檢測方法及裝置、一種平面跟蹤方法及裝置。

背景技術

目前，基于移動設備的增強現實(augmented?reality，AR)應用已經成為現實，而且備受各大移動設備廠商和廣大用戶的青睞。在將虛擬對象融合到真實環境時，需要基于平面確定虛擬對象的錨點，從而在確定出的錨點處渲染出虛擬對象。因此，在基于移動設備的增強現實應用的計算過程中，平面檢測是一項重要的功能。

而現有技術中，基于slam系統對多幅圖像進行處理，獲得稠密點云，然后通過點云數據進行平面檢測，獲得全局平面。由于稠密點云是對多幅圖像進行特征點提取得到的，稠密點云包含的特征點較多。這種方式計算復雜度高，對于硬件要求較高，成本高，制約了其使用范圍。

但是，移動設備的計算能力有限，采用復雜度較高的算法進行平面檢測，速度慢，用戶體驗較差。

發明內容

本發明的目的在于提供一種平面檢測和跟蹤的新技術方案。

根據本發明的第一方面，提供了一種平面檢測方法，所述方法包括：

對雙目攝像頭采集環境場景的當前幀圖像進行劃分，檢測劃分后得到的每個子圖像塊對應的特征點；

根據所述特征點在世界坐標系下的三維坐標信息，獲得所述當前幀圖像的稀疏點數據集，所述稀疏點數據集包括多個所述特征點的三維坐標信息；

基于所述稀疏點數據集，對所述當前幀圖像進行平面檢測，獲取所述當前幀圖像的最優有效平面，所述最優有效平面為包含特征點最多的平面。

可選地，所述當前幀圖像包括第一目圖像和第二目圖像，所述特征點包括第一特征點和第二特征點；

所述對雙目攝像頭采集環境場景的當前幀圖像進行劃分，檢測劃分后得到的每個子圖像塊對應的特征點，包括：

對所述第一目圖像進行劃分，獲得多個第一子圖像塊；

檢測出每個所述第一子圖像塊對應的第一特征點；

采用極線匹配方法在所述第二目圖像中做特征點匹配，獲取所述第二目圖像中與所述第一特征點匹配的第二特征點；

利用所述第一特征點和所述第二特征點，計算所述第一特征點的三維坐標信息。

可選地，所述對所述第一目圖像進行劃分，獲得多個第一子圖像塊之前，所述方法還包括：

以所述第一目圖像的中心為原點，將歐式距離大于第一設定像素的點的像素狀態設置為第二狀態，將所述第一目圖像中剩余的點的像素狀態設置為第一狀態。

可選地，所述檢測出每個所述第一子圖像塊對應的第一特征點，包括：

對所述第一子圖像塊進行特征點檢測，確定每個所述第一子圖像塊中目標點；

判斷所述第一子圖像塊中所述目標點的像素狀態，所述像素狀態包括第一狀態和第二狀態；