[發明專利]基于深度學習的非視域飛秒成像三維重建方法及裝置有效
| 申請號： | 202010136035.3 | 申請日： | 2020-03-02 |
| 公開（公告）號： | CN111462299B | 公開（公告）日： | 2022-07-19 |
| 發明（設計）人： | 戴瓊海;張安科;裴承全;喬暉 | 申請（專利權）人： | 清華大學 |
| 主分類號： | G06T17/00 | 分類號： | G06T17/00;G06T15/20;G06T15/50;G06N3/04;G06N3/08 |
| 代理公司： | 北京清亦華知識產權代理事務所(普通合伙) 11201 | 代理人： | 王艷斌 |
| 地址： | 10008*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 深度 學習 視域 成像 三維重建 方法 裝置 | ||
1.一種基于深度學習的非視域飛秒成像三維重建方法，其特征在于，包括以下步驟：
建立視域場景的三維模型，利用空間坐標系確定所述三維模型的每個離散面片的位置和方向，并且進行視域場景下高速渲染；
對光照場景進行非視域場景光線追蹤渲染；以及
基于數據學習的神經網絡架構，以從非視域場景到視域場景的三維重建掃描；
其中，所述基于數據學習的神經網絡架構，包括：
利用生成的多個視域-非視域數據對，對神經網絡進行訓練，生成預訓練模型，其中，所述神經網絡的輸入為非視域場景數據，所述神經網絡的輸出為視域場景數據，所述非視域場景數據是非視域場景拍到的條紋影像，所述視域場景數據是通過所述神經網絡進行反解并生成對應的場景體素。
2.根據權利要求1所述的方法，其特征在于，所述進行視域場景下高速渲染，包括：
通過調整每個離散面片的反射系數進行視域場景下光照條件渲染。
3.根據權利要求2所述的方法，其特征在于，在視域場景下光照條件渲染之后，還包括：
通過渲染后所得到的視域場景反射信息進行非視域場景渲染轉換，以將視域光場轉換成為非視域光場。
4.一種基于深度學習的非視域飛秒成像三維重建裝置，其特征在于，包括：
視域光線追蹤渲染模塊，用于建立視域場景的三維模型，利用空間坐標系確定所述三維模型的每個離散面片的位置和方向，并且進行視域場景下高速渲染；
非視域重建相機模型模塊，用于對光照場景進行非視域場景光線追蹤渲染；以及
神經網絡重建模塊，用于基于數據學習的神經網絡架構，以從非視域場景到視域場景的三維重建掃描；
所述神經網絡重建模塊，還用于利用生成的多個視域-非視域數據對，對神經網絡進行訓練，生成預訓練模型，其中，所述神經網絡的輸入為非視域場景數據，所述神經網絡的輸出為視域場景數據，所述非視域場景數據是非視域場景拍到的條紋影像，所述視域場景數據是通過所述神經網絡進行反解并生成對應的場景體素。
5.根據權利要求4所述的裝置，其特征在于，所述視域光線追蹤渲染模塊進一步用于通過調整每個離散面片的反射系數進行視域場景下光照條件渲染。
6.根據權利要求5所述的裝置，其特征在于，所述非視域重建相機模型模塊進一步用于在視域下光照條件渲染之后，通過渲染后所得到的視域場景反射信息進行非視域場景渲染轉換，以將視域光場轉換成為非視域光場。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于清華大學，未經清華大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010136035.3/1.html，轉載請聲明來源鉆瓜專利網。
