[發明專利]3D場景重建方法、系統及計算機程序存儲介質

有效

• 申請號: 202110078566.6
• 申請日: 2017-04-11
• 公開（公告）號: CN113014906B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: D·S·阿克森;D·J·米格;J·K·萊芬韋爾;K·丹尼利迪斯
• 申請（專利權）人: 奎蒂安特有限公司
• 主分類號: H04N13/275
• 分類號: H04N13/275;H04N13/204;G06T7/557;G06T9/00;G06T9/40;G06T15/08;G06T15/20
• 代理公司: 北京市中倫律師事務所 11410
• 代理人: 楊黎峰;童劍雄

1.一種場景處理方法，包括：

采集在包括場景媒介的場景中流動的場景光的一個或多個所感測的數字圖像，其中，(A)所述場景光在所述場景媒介中沿相反的方向流動，(B)通過位于一個或多個照相機姿勢處的至少一個照相機感測所述所感測的數字圖像，(C)所述所感測的數字圖像包括表示所述場景光的特性的所感測的像素數據元素，并且(D)由所述場景媒介和/或所述場景光的至少一部分形成的場景實體包括場景特性，場景表面，場景特征和場景對象中的至少一個；和

使用(a)所述所感測的像素數據元素中的一個或多個，(b)一個或多個初始場景重建數據元素以及(c)表示以平衡狀態流入、流出所述場景媒介的至少一部分或在所述場景媒介的至少一部分內的所述場景光的至少一部分的光傳輸方程式來確定一個或多個更新的場景重建數據元素，

其中，

場景重建數據元素包括：i)表示所述場景媒介的幾何屬性和材料屬性的場景媒介數據元素；ii)表示所述場景光的幾何屬性和輻射屬性的光數據元素；iii)表示所述照相機姿勢和照相機模型的照相機數據元素，

初始場景重建數據元素是這樣的場景重建數據元素：如果所述場景重建數據元素存在，則將其用作所述確定過程的輸入，并且

更新的場景重建數據元素是從所述確定過程輸出的場景重建數據元素。

2.如權利要求1所述的場景處理方法，其中：

獲取一個或多個所感測的數字圖像包括捕獲和/或訪問一個或多個所感測的數字圖像，

確定一個或多個更新的場景重建數據元素包括使用非線性優化和/或使用機器學習，以及

所述場景實體中的至少一個通過使用所述所感測的像素數據元素中的至少一個的所述場景重建數據元素中的至少一個來表示。

3.如權利要求2所述的場景處理方法，還包括：

訪問至少一個用戶標識的場景重建目標；

重復權利要求2的所述過程，直到滿足場景重建目標為止；以及

生成表示至少以下項中的至少一個的輸出數據：(aa)至少部分地與所述用戶識別的目標相關聯的至少一個場景實體；(bb)表示所述照相機姿勢的至少一部分和所述照相機模型的至少一部分的至少一個照相機數據元素；以及(cc)表示所述照相機模型的至少一部分的至少一個照相機數據元素，其中所述輸出數據至少部分地使用至少一個場景重建數據元素來確定。

4.如權利要求2所述的場景處理方法，其中：

所感測的數字圖像中的至少一個是由至少一個照相機感測的基本上全向的圖像。

5.如權利要求2所述的場景處理方法，其中，至少一個所述所感測的像素數據元素表示偏振光的多個特性，并且至少部分地使用偏振光的特性來確定所述場景重建數據元素中的至少一個。

6.如權利要求5所述的場景處理方法，其中：

至少部分地使用偏振光的表示對偏振光敏感的至少一個空間定位的場景特征的特性來確定所述至少一個場景重建數據元素。

7.如權利要求6所述的場景處理方法，其中，所述至少一個場景重建數據元素表示對偏振光敏感的所述至少一個空間定位的場景特征，并且至少部分地用于執行以下各項中的任一項或任意組合：

對跨越多個圖像的場景特征進行標注，

圖像記錄，

場景初始化，以及

場景重建。

8.如權利要求5所述的場景處理方法，其中：

所述場景表面是車輛表面，

所述場景特征是對車輛表面的損壞，所述損壞包括壓痕、異常和碎片中的至少一種，以及

使用以下項的任何一種或任意組合來確定所述損壞的一個或多個特性：

所述場景重建數據元素中的至少一個，

關聯的未損壞的車輛表面的3D模型，

非線性優化，以及

機器學習模型。