[發明專利]用于將場景重建為三維(3D)模型的方法和系統

有效

• 申請號: 201780008148.1
• 申請日: 2017-01-20
• 公開（公告）號: CN108604381B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: S·拉姆阿里加姆
• 申請（專利權）人: 三菱電機株式會社
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 黃綸偉

一種方法通過首先用攝像頭獲取場景的一系列圖像來將場景重建為三維(3D)模型。然后，從該一系列圖像提取特征點匹配或線匹配；使用隨機值初始化針對攝像頭光學中心和3D點的變量，并且根據n個約束的可用性形成所述變量的n個副本。投影n個副本來滿足n個約束中的每個約束。然后，用副本的平均來替換n個副本；并且重復投影和替換，直到收斂，以提供3D模型。

技術領域

本發明總體涉及計算機視覺，更具體地，涉及使用約束滿足從一系列圖像來重建場景從而確定相對姿勢并重建3D點和3D線。

背景技術

在計算機視覺應用中，對場景和物體的諸如相對姿勢、絕對姿勢和三維(3D)模型這樣的幾何特性的估計依賴于基礎約束。例如，基于點間距離的圖形剛性可以用于3D重建。手性(cheirality)是使得能夠從起因于鏡面反射的模糊重建識別正確重建的關鍵概念中的一個概念。簡單來說，手性約束強制場景在攝像頭前面而不是在后面。

分治(divide and concur：DC)是基于差別圖(DM)動態的約束滿足方法。DC法與迭代優化法緊密相關。具體地，DC法可以被表征為消息傳遞法，并且其類似于置信傳播(Belief Propagation：BP)。DC法可以被表征為交替方向乘子法(ADMM)方法的特殊情況。而且，DC法是諸如用于凸優化的Douglas-Rachford法和用于相位復原的Fieup的混合輸入輸出(HIO)法這樣的迭代投影法的概括。

通常，3D建模法使用以下步驟。首先，估計攝像頭的姿勢，然后去除異常值。為此，最小限方案是關鍵的。在獲得針對攝像頭姿勢和3D點的某個初始解之后，可以應用光束平差。

在5點解算器(solver)中，多個挑戰性的最小限問題使用代數解算器來解決。不保證代數解算器對任何多項式系統進行求解。例如，眾所周知，難以解決諸如3視圖4點這樣的某些最小限問題。存在其他挑戰性的問題，諸如從三個視圖中的六線對應性來估計姿勢，和用于普通攝像頭的最小限法。

普通攝像頭指的是廣泛類型的傳感器，其中，投影線不必須穿過攝像頭的光學中心。該普遍性在人們嘗試解決最小限問題時創建較大的挑戰。例如，在大的多項式系統進行求解之后，兩個普通攝像頭之間的相對姿勢產生64個解。

發明內容

本發明的實施方式提供了一種用于使用約束滿足重建來自一系列圖像的場景為三維(3D)模型從而確定相對姿勢并重建3D點和3D線的方法和系統。約束滿足基于差別圖(DM)搜索策略。該方法不要求任何初始化，并且可以確定離散變量和連續變量這兩者。現有方法要求初始化，并且通常針對離散變量或連續變量而不是這兩者來自定義。

該方法可以稱為交替方向乘子算法(ADMM)法的特殊情況。實施方式對計算機視覺問題建模，諸如線標號問題、使用用于立體和普通攝像頭這兩者的點或線對應性的3D重建、使用幾何約束的基于線的3D重建。

與使用單個圖像或較少約束的其他方法相比，實施方式可以同時處理所有可用約束和圖像。

迭代法在計算機視覺中不是新的。實際上，幾何計算機視覺中最常應用方法中的一個方法是光束法平差。雖然其對處理城市規模3D模型具有顯著影響，但局部極小值對于光束法平差來說仍然是嚴重問題。

附圖說明

[圖1]圖1是根據本發明的實施方式的用于重建來自一系列圖像的場景為三維(3D)模型的方法和系統的框圖；

[圖2A]圖2A是根據本發明的實施方式的具有標記的線圖；

[圖2B]圖2B是根據本發明的實施方式的具有標記的線圖；

[圖2C]圖2C是根據本發明的實施方式的具有標記的線圖；

[圖3A]圖3A是根據本發明的實施方式的標記為T的結的示意圖；