[發明專利]基于曼哈頓假設下室內環境的相機旋轉估計方法

在審

• 申請號: 202210090415.7
• 申請日: 2022-01-25
• 公開（公告）號: CN114463406A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 王亮;趙德運
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/579
• 分類號: G06T7/579
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于曼哈頓假設下室內環境中相機旋轉估計方法，其特征在于，包括以下步驟：

步驟1：主導平面的檢測：采用我們提出的方法對室內環境深度圖像的點云數據做平面擬合，檢測出最多數據點支持的平面模型，將平面以法向量的形式投影到高斯球面上，平面的法向量作為曼哈頓坐標系的一個坐標軸，采用Mean Shift算法在整個過程中持續跟蹤主導平面的法向量；

步驟2：在高斯球面上計算曼哈頓坐標系的正交方向；使用LSD算法對RGB圖像做直線檢測，將直線投影到高斯球面上得到一個圓，用圓的法向量V0與步驟1中主導平面的法向量VP1做叉乘，得到第二個坐標軸VP3，將得到的兩個坐標軸再做向量叉乘得到第三個坐標軸VP2；

步驟3：利用代價函數進行非線性優化；提出一個代價函數對曼哈頓坐標系的估計結果進行優化，利用Levenberg-Marquardt算法最小化代價函數從而得到最大的一致線集；

步驟4：利用旋轉矩陣求解相機旋轉；曼哈頓坐標系一旦確定就保持不變，在每一幀中求解出相機坐標系相對于曼哈頓坐標系之間的旋轉矩陣，從而解出相機坐標系相對于世界坐標系的旋轉。

2.根據權利要求1所述的基于曼哈頓假設下室內環境中相機旋轉估計方法，其特征在于，步驟1中所述的主導平面檢測，具體步驟如下：

對輸入深度圖像的點云數據進行平面擬合，首先隨機選取三個點作為樣本，首先確保隨機選取的三個點不共線，代入平面的空間方程確定系數，我們對暫定的平面模型進行順序概率比測試；

其中，λ為所有數據的計算結果，n為所有數據點的個數，p(x_r|H_b)為第x_r個數據點不符合該模型的概率，b表示bad，p(x_r|H_g)為第x_r個數據點符合該模型的概率，g表示good，對每一個數據點依次測試符合模型的概率和不符合模型的概率，最終λ大于給定的閾值4.4就淘汰掉模型重新選取樣本進行擬合，λ小于等于給定的閾值4.4就繼續對結果進行Lo-RANSAC優化；使用從上一步的順序概率比測試中返回的符合模型的內點，重新進行采樣，生成平面模型，設定10到20次的迭代，然后選取最優的局部結果作為改進的結果；重復上述的所有過程，直到內點的比例達到設定的閾值0.2，最終得到當前的主導平面；將主導平面投影到高斯球面上，用法向量VP1表示，為了使后續幀中的場景與第一幀檢測出的主導平面對齊，使用Mean Shift算法對主導平面法向量周圍的表面法向量進行跟蹤。

3.根據權利要求1所述的基于曼哈頓假設下室內環境下相機旋轉估計方法，其特征在于，步驟2中所述的在高斯球面上計算曼哈頓坐標系的正交方向，具體步驟如下：對于RGB圖像，采用LSD算法對其進行直線檢測，將檢測到的直線信息作為樣本，使用與主導平面檢測相同的方法，每次選取一條直線投影到高斯球面上，得到的投影為一個大圓；將大圓的法向量V0與主導平面的法向量VP1做叉乘，得到曼哈頓坐標系的第二個坐標軸VP3，基于坐標系的正交性，將VP1與VP3叉乘就可以得到VP2，對于確定的曼哈頓坐標系模型，對其進行順序概率比測試和Lo-RANSAC優化，重復上述步驟，迭代次數上限為100萬次，當直線的內點比例高于0.8時停止迭代。