[發明專利]處理方法及裝置

在審

• 申請號: 202110339210.3
• 申請日: 2021-03-30
• 公開（公告）號: CN113052977A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 劉超;陳玉琨
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20
• 代理公司: 北京金信知識產權代理有限公司 11225
• 代理人: 喻嶸

本公開涉及一種處理方法及裝置，該方法包括：獲得電子設備當前所處環境的環境圖像，獲取所述環境圖像上的點特征和/或線特征；確定所述點特征和/或線特征的三維空間位置信息；至少基于所述三維空間位置信息確定電子設備當前所處環境內的平面信息。本公開實施例的處理方法不依賴深度相機即可準確、全面地檢測出電子設備當前所處環境內的平面信息，適用范圍廣，且成本較低。本公開可以采用通用的單目或多目相機確定電子設備當前所處環境內的平面信息，操作方便，無需使用深度相機，通用性強；同時，可以準確、全面地檢測出電子設備當前所處環境內的平面信息，在紋理較少的環境中也能夠準確確定平面信息，具有較好的魯棒性。

技術領域

本公開涉及圖像處理技術領域，具體涉及一種處理方法及裝置。

背景技術

在增強現實AR應用中，一個典型的應用場景是檢測物理世界中的平面，比如水平的桌面和地面、豎直的墻面等，以用于展示虛擬模型，如虛擬的恐龍或飛機模型等。因此，如何實時、準確地在移動設備比如手機、AR眼鏡上檢測輸出平面信息是增強現實AR應用亟待解決的問題。

現有技術中，一般采用單目或者雙目相機與深度相機配合檢測平面，其中，單目或者雙目相機用于運行SLAM算法以解算出6dof姿態數據，深度相機用于獲取周圍環境的深度信息以得到周圍環境的三維稠密點云信息，從而檢測出周圍環境的幾何平面，由于需要使用深度相機，成本較高，且無法適用于手機等不含深度相機的設備，通用性不強。另一基于RGB相機的平面檢測方案，比如谷歌的ARcore，無需使用深度相機，但是，其檢測不夠準確，特別是在紋理不豐富的地方僅能檢測部分平面，比如無法檢測到桌面邊緣區域的平面，另外，該方案不易擴展到基于雙目魚眼相機的AR眼鏡上。

發明內容

根據本公開的方案之一，提供一種處理方法，包括：

獲得電子設備當前所處環境的環境圖像，獲取所述環境圖像上的點特征和/或線特征；

確定所述點特征和/或線特征的三維空間位置信息；

至少基于所述三維空間位置信息確定電子設備當前所處環境內的平面信息。

在一些實施例中，所述方法還包括：

至少基于所述平面信息將所述電子設備的待輸出內容輸出至所述環境內的目標平面。

在一些實施例中，獲取所述環境圖像上的點特征和/或線特征，包括：

提取所述環境圖像中像素變化大于第一預設閾值的角點，將所述角點作為特征點，得到所述點特征；和/或，

提取所述環境圖像中梯度變化大于第二預設閾值的像素，將所述像素作為特征線，得到所述線特征。

在一些實施例中，確定所述點特征和/或線特征的三維空間位置信息，包括：

對所述點特征和/或線特征進行解算，得到表征所述點特征的特征點和/或表征所述線特征的特征線的相對空間坐標，其中，所述點特征和/或線特征從利用單目相機采集的所述環境圖像中提取；

利用慣性測量單元確定所述特征點和/或特征線的絕對空間坐標。

在一些實施例中，確定所述點特征和/或線特征的三維空間位置信息，包括：

對所述點特征和/或線特征進行解算，得到表征所述點特征的特征點和/或表征所述線特征的特征線的絕對空間坐標，其中，所述點特征和/或線特征從利用雙目相機采集的所述環境圖像中提取。

在一些實施例中，至少基于所述三維空間位置信息確定電子設備當前所處環境內的平面信息，包括：

至少基于多個特征點的三維空間位置信息，從所述多個特征點中選擇三個第一特征點；

對三個所述第一特征點進行三角化，形成第一平面；