[發明專利]一種AR室內結構化場景單目視覺定位方法

在審

• 申請號: 202110246329.6
• 申請日: 2021-03-05
• 公開（公告）號: CN113012233A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 蘭衛旗;邵立;張冀;張翔宇
• 申請（專利權）人: 南京翱翔信息物理融合創新研究院有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/246
• 代理公司: 蕪湖思誠知識產權代理有限公司 34138
• 代理人: 項磊

1.一種AR室內結構化場景單目視覺定位方法，其特征在于：包括下列步驟：

步驟一、單目相機進行拍攝獲取圖像數據；

步驟二、通過兩個并行線程相獨立地進行點特征和線特征的提取和描述；

步驟三、根據獲得的點特征的識別點數量判斷是否采用線特征進行解算定位，如果識別點數量少于閾值執行步驟五，否則執行步驟四；

步驟四、在點特征線程中利用EKF對圖像點特征進行位姿解算獲得位姿輸出，實現空間定位，若存在狀態丟失，識別點數量不少于閾值，EKF依據之前的狀態向量進行預測完成狀態估計，獲得位姿輸出；

步驟五、在線特征線程中利用EKF對圖像線特征進行位姿解算，并由EKF中狀態均方誤差陣的估計得到相應的狀態的協方差，根據協方差評估各位姿輸出的精度，將精度較高的位姿作為輸出結果實現空間定位。

2.根據權利要求1所述的一種AR室內結構化場景單目視覺定位方法，其特征在于：EKF解算過程中：針對AR觀測系統建立狀態方程解算系統狀態，不考慮通常不改變的環境特征，僅考慮相機的運動變量建立狀態方程；建立量測方程以描述空間中的三維場景被AR設備的相機拍攝到轉化成為像素的過程，具體來說是三維場景中的點線結構在圖片上的像素位置；EKF解算時依次經過狀態一步預測、狀態均方誤差陣的一步預測、濾波增益系數計算、加入量測信息的狀態估計和狀態均方誤差陣的估計，狀態一步預測利用狀態方程求解，加入量測信息的狀態估計中利用量測方程計算量測信息。

3.根據權利要求2所述的一種AR室內結構化場景單目視覺定位方法，其特征在于：建立狀態方程的方法如下：

1)相機的運動狀態向量定義為：

其中：表示相機當前的三維坐標以及空間姿態；[v w]表示當前相機運動的線速度與角速度，b表示運動狀態的擾動誤差；

2)結構特征的狀態向量定義為：

其中：表示結構特征的三維坐標以及空間姿態；m表示當前狀態下觀測到的路標點數目，結構特征包含步驟二獲得的點特征和/或線特征；將狀態變量的整體寫做符合高斯分布的形式為：

根據相機的運動變量建立狀態方程：

其中：X為相機運動狀態和三維環境中結構特征結合得到的狀態變量，結構特征包括點特征和線特征，表示相機當前的三維坐標以及空間姿態；[v w]表示當前相機運動的線速度與角速度，b表示運動狀態的擾動誤差，a表示運動的加速度；Γ_k為噪聲分配矩陣，W_k為系統噪聲向量，是一個高斯零均值白噪聲，有：

4.根據權利要求3所述的一種AR室內結構化場景單目視覺定位方法，其特征在于：所述狀態方程中的w，a的狀態通過外接擴展的IMU模塊測量得到或是基于固定運動模型假設得到，當采用外接擴展的IMU模塊時，需要對量測方程進行增廣。

5.根據權利要求3所述的一種AR室內結構化場景單目視覺定位方法，其特征在于：EKF解算過程建立量測方程以描述空間中的三維場景被AR設備的相機拍攝到轉化成為像素的過程，具體來說是三維場景中的點線結構在圖片上的像素位置；量測方程包含了兩部分：1)三維世界坐標系到相機坐標系的轉換——To Camera：

P_C＝R^T(P_W-t)

其中：P_w表示空間點線結構在世界坐標系下的坐標，P_c表示空間點線結構在相機坐標系下的坐標，R，t表示世界坐標系相對于相機坐標系的運動；

2)相機投影模型——Projection：

其中：L_i＝[X Y Z]^T，表示三維空間物體的坐標，[u，v]表示像素坐標，f_x，f_y，c_x，c_y是相機內參的參數；

結合以上兩個步驟，可以將量測方程表示為：

Z＝h(x)