[發明專利]一種基于曼哈頓假設的場景重建方法

有效

• 申請號: 201710563682.0
• 申請日: 2017-07-12
• 公開（公告）號: CN107292956B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 顏成鋼;朱尊杰;徐峰;寧瑞忻
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/38;G06T7/80
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 黃前澤

1.一種基于曼哈頓假設的場景重建方法，其特征在于該方法包括以下步驟：

步驟(1)、通過深度相機拍攝采集獲得室內場景的圖像序列，計算圖像中每個像素點法向量；

步驟(2)、通過建立球面坐標進行法向量統計，從所有像素點的法向量中提取出近似主平面法向量的法向量集合；

步驟(3)、根據近似主平面法向量的法向量集合中的所有法向量，利用主成分分析法提取這些法向量中的主要方向，得到相互正交的主平面法向量；

步驟(4)、獲取每個像素點3D坐標在上述主平面法向量上的投影位置，然后利用投影位置提取主平面在法向量上的位置；

步驟(5)、根據上述步驟得到的主平面法向量與主平面在法向量上的位置信息，計算得到相機姿態變換矩陣；并通過每一幀的相機姿態變換矩陣與所有像素點的3D坐標進行場景的重建；

步驟(1)、通過深度相機拍攝采集獲得室內場景的圖像序列，計算圖像中每個像素點法向量，具體是：

首先，將圖像序列中記錄幀的所有像素點通過深度相機的相機模型轉換為3D坐標；然后通過某像素點的相鄰4個像素點的3D坐標計算獲得該點法向量；

D₁(u,v)＝D(u+k,v)-D(u-k,v) (1)

D₂(u,v)＝D(u,v+k)-D(u,v-k) (2)

其中，k是表示兩個像素點之間距離，為可調整參數；D₁、D₂為經過像素點D(u,v)的向量；

將D₁、D₂帶入公式(3)中，獲得D(u,v)的法向量n(u,v)；

n(u,v)＝ψ(D₁(u,v)×D₂(u,v)) (3)

其中，×是交叉乘積，Ψ是將法線轉換為單位向量的函數：ψ(normal)＝normal·||normal||^-1；

步驟(2)、通過建立球面坐標進行法向量統計，從所有像素點的法向量中提取出近似主平面法向量的法向量集合，具體是：

2.1單位球形坐標建立

將步驟(1)獲得的法線n＝(x,y,z)轉換成球坐標形式n＝(α,β,γ)，其中α是法線n和軸X之間的角度，β是法線n與軸線Y之間的角度，γ是法線n與軸線Z之間的角度；

2.2法向量統計

將單位球形坐標中的每個基細分為180個區間，即每個區間為1度范圍；然后將三個分別屬于每一個基的區間組合成一個容器，將每個法向量n存入其對應的容器中；

所述的基指代α,β,γ所在的坐標，即α,β,γ為0～180度；

2.3主法向量集合的提取

由于一幀圖像中有大量屬于某一主平面的像素點，因此該平面法向量對應的容器中法向量數量將遠大于其他容器，故將包含法向量數量最多的容器中所有法向量設為第一個主平面的法向量集L₁；

根據主平面的法向量垂直關系，第二個主平面的法向量集L₂見公式(4)：

θ₁＜Θ(α1,α2)+Θ(β1,β2)+Θ(γ1,γ2)＜θ₂ (4)

其中Θ(a,b)＝cos(a)*cos(b)，θ₂＝π*100/180,θ₁＝π*80/180；

第三個主平面的法向量集L₃為同時距離L₁和L₂80°到100°的法向量集。

2.如權利要求1所述的一種基于曼哈頓假設的場景重建方法，其特征在于步驟(3)具體是將3個法向量集L₁、L₂、L₃中的所有法向量作為PCA的輸入，然后PCA提取這些法向量中的主要方向，得到三個相互正交的特征向量，同時將這些向量設置為主平面的法向量n₁、n₂、n₃；其中PCA法輸出的最小特征值所對應的特征向量為第一個主平面的法向量，反之最大特征值所對應的特征向量為第三個主平面的法向量。