[發明專利]基于深度學習的透明物體圖像的三維重建方法、終端及介質

在審

• 申請號: 202310205098.3
• 申請日: 2023-03-06
• 公開（公告）號: CN116310102A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 陳詩敏;邱國平;蘇林宇
• 申請（專利權）人: 深圳大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06F30/10
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 李曉鳳

本發明公開了一種基于深度學習的透明物體圖像的三維重建方法、終端及介質，包括：采集透明物體圖像，創建透明物體圖像數據集；將所述透明物體圖像數據集輸入生成對抗網絡模型，通過所述生成對抗網絡模型輸出生成圖像；根據訓練后的三維重建網絡模型及對應的模型參數，對所述生成圖像進行重建，得到重建三維模型。本發明通過創建真實透明物體的三維重建數據集，建立透明物體到非透明物體的映射，將合成數據集訓練得到的網絡模型參數遷移學習到真實數據集中，避免合成與真實間域遷移造成的影響，實現透明物體的三維重建，從而突破了現有技術受到透明物體圖像的采集方式和對折射率的需求的局限，有效地實現了透明物體的三維重建。

技術領域

本發明涉及人工智能領域，尤其涉及的是基于深度學習的透明物體圖像的三維重建方法、終端及介質。

背景技術

賦予機器人像人類一樣感知三維世界的能力一直是人工智能領域的一個長期研究的問題。想認知世界，人工智能系統必須理解三維視覺場景。圖像和視頻中所描述的場景和物體仍是二維的，而人工智能必須從圖像和視頻中理解所在場景和物體的三維結構，才能與真實世界的物體進行交互。現有的三維重建方法都需要假設物體是不透明的且表面滿足朗伯反射，因此諸如此類的方法并不適用于有透明材料或者反射性材料的物體上。而透明物體在現實生活中隨處可見，比如水瓶、玻璃杯、窗戶等由玻璃或是透明塑料構成的物體。研究透明物體的三維重建，目的是幫助機器理解日常生活中常見的透明物體，得到物體完整的三維結構，從而幫助它們更好的與真實世界進行交互。

在由視圖到三維重建的研究進程中，重建方法大致分為三類：基于模型的重建方法、基于幾何的重建方法和基于學習的重建方法。基于模型的方法在針對特定形狀物體的重建上有較好的效果,因為在模型設計階段它們較好的利用了目標物體的先驗知識，不過這也導致了這類方法很難擴展至其他物體上。基于幾何的重建方法根據二維圖像中的信息恢復物體的三維結構，這類方法通常被稱為從X恢復形狀。

基于幾何的重建方法往往具有更好的泛化性，因為其重建的是不針對特定類別的物體，但該類方法對光照和灰度等提出了苛刻的要求。近年來，隨著深度學習技術的飛速發展及大規模三位模型數據集的出現，基于深度學習的重建方法在過去幾年引起了廣泛的關注。

目前，在此領域存在以下現有技術：一種基于已知折射率的全自動三維重建的方法。通過空間雕刻生成的初始可視殼隨后使用新穎的點合并公式受不獲得光折射法線與表面法線一致性、表面光滑度和模型投影與輪廓的一致性約束逐漸向精確的對象形狀發展。一種基于光折射法線與斯涅爾法線一致定理深層網絡，通過物理的渲染層和cost?volume來模擬折射和反射的屬性，來估計透明對象的表面法線，然后基于PointNet++進行輸出的點云模型的優化。通過可微的折射光線追蹤，表面光滑度和輪廓的一致性直接優化三維多邊形網格的重建，恢復細粒度的幾何細節。

然而目前的現有技術缺存在如下問題：要求透明物體的折射率已知，而對于日常獲取的圖像來說，我們很難得知圖像中的透明物體的折射率。基于光線經過透明物體時只經過兩次的折射的假設，實際上當物體為空心時，例如杯子、大部分光線穿過整個物體經過了四次折射，實際穿過透明物體的光線比較復雜，現有技術受到透明物體圖像的采集方式和對折射率的需求的局限。

因此，現有技術還有待改進。

發明內容

本發明要解決的技術問題在于，針對現有技術缺陷，本發明提供一種基于深度學習的透明物體圖像的三維重建方法、終端及存儲介質，以解決目前現有技術受到透明物體圖像的采集方式和對折射率的需求的局限的技術問題。

本發明解決技術問題所采用的技術方案如下：

第一方面，本發明提供一種基于深度學習的透明物體圖像的三維重建方法，包括：

采集透明物體圖像，創建透明物體圖像數據集；

將所述透明物體圖像數據集輸入生成對抗網絡模型，通過所述生成對抗網絡模型輸出生成圖像；

根據訓練后的三維重建網絡模型及對應的模型參數，對所述生成圖像進行重建，得到重建三維模型。