[發(fā)明專利]基于深度學(xué)習(xí)的非視域飛秒成像三維重建方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010136035.3
• 申請(qǐng)日: 2020-03-02
• 公開（公告）號(hào): CN111462299B
• 公開（公告）日: 2022-07-19
• 發(fā)明（設(shè)計(jì)）人: 戴瓊海;張安科;裴承全;喬暉
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T15/20;G06T15/50;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 王艷斌

本發(fā)明公開了一種基于深度學(xué)習(xí)的非視域飛秒成像三維重建方法及裝置，其中，方法包括以下步驟：建立視域場(chǎng)景的三維模型，利用空間坐標(biāo)系確定每個(gè)離散面片的位置和方向，并且進(jìn)行視域下高速渲染；對(duì)光照?qǐng)鼍斑M(jìn)行非視域光追渲染；基于數(shù)據(jù)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以從非視域場(chǎng)到視域場(chǎng)的三維重建掃描。該方法通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)視域場(chǎng)和非視域場(chǎng)之間的傳遞函數(shù)，可以在沒有過(guò)多硬件約束的條件下，將非視域場(chǎng)中采集到的條紋信息重建成為視域信息，從而使用數(shù)據(jù)而非光學(xué)模型對(duì)視域場(chǎng)進(jìn)行重建，有效提高重建的適用性和實(shí)用性，簡(jiǎn)單易實(shí)現(xiàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)算法和非視域重建技術(shù)領(lǐng)域，特別涉及一種基于深度學(xué)習(xí)的非視域飛秒成像三維重建方法及裝置。

背景技術(shù)

拐角成像問(wèn)題是非視域成像問(wèn)題中的重要分支，其最終的目的是需要觀測(cè)者觀察漫反射面被激發(fā)以后所看到的散射條紋。通過(guò)觀察散射條紋的形態(tài)以及到達(dá)相機(jī)的時(shí)間信息，反推再反射板后方物體的三維信息，并且進(jìn)行三維重建。

2014年Ramesh Raskar提出了基于反向投影的拐角成像方案，改方法的適應(yīng)性和速度都有待加強(qiáng)。在2018年和2019年，Gordon Wetzstein提出了基于共聚焦的光錐反解算法還有頻率-波數(shù)遷移算法，極大的加速了反解速度。2019年Andreas Velten提出了使用相位場(chǎng)進(jìn)行重建，把采集到的瞬態(tài)圖像轉(zhuǎn)換成為相位信息，并進(jìn)行重建。但現(xiàn)階段的算法大都基于確定的光學(xué)傳播模型，實(shí)驗(yàn)側(cè)重于讓點(diǎn)擴(kuò)散函數(shù)的擁有高度的一致性，從而幫助算法進(jìn)行簡(jiǎn)化。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。

為此，本發(fā)明的一個(gè)目的在于提出一種基于深度學(xué)習(xí)的非視域飛秒成像三維重建方法，該方法使用數(shù)據(jù)而非光學(xué)模型對(duì)視域場(chǎng)進(jìn)行重建，有效提高重建的適用性和實(shí)用性，簡(jiǎn)單易實(shí)現(xiàn)。

本發(fā)明的另一個(gè)目的在于提出一種基于深度學(xué)習(xí)的非視域飛秒成像三維重建裝置。

為達(dá)到上述目的，本發(fā)明一方面實(shí)施例提出了一種基于深度學(xué)習(xí)的非視域飛秒成像三維重建方法，包括以下步驟：建立視域場(chǎng)景的三維模型，利用空間坐標(biāo)系確定每個(gè)離散面片的位置和方向，并且進(jìn)行視域下高速渲染；對(duì)光照?qǐng)鼍斑M(jìn)行非視域光追渲染；基于數(shù)據(jù)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以從非視域場(chǎng)到視域場(chǎng)的三維重建掃描。

本發(fā)明實(shí)施例的基于深度學(xué)習(xí)的非視域飛秒成像三維重建方法，通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)視域場(chǎng)和非視域場(chǎng)之間的傳遞函數(shù)，可以在沒有過(guò)多硬件約束的條件下，將非視域場(chǎng)中采集到的條紋信息重建成為視域信息，從而使用數(shù)據(jù)而非光學(xué)模型對(duì)視域場(chǎng)進(jìn)行重建，有效提高重建的適用性和實(shí)用性，簡(jiǎn)單易實(shí)現(xiàn)。

另外，根據(jù)本發(fā)明上述實(shí)施例的基于深度學(xué)習(xí)的非視域飛秒成像三維重建方法還可以具有以下附加的技術(shù)特征：

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述進(jìn)行視域下高速渲染，包括：通過(guò)調(diào)整各個(gè)面片的反射系數(shù)進(jìn)行視域下光照條件渲染。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，在視域下光照條件渲染之后，還包括：通過(guò)渲染后所得到的視域場(chǎng)反射信息進(jìn)行非視域渲染轉(zhuǎn)換，以將視域光場(chǎng)轉(zhuǎn)換成為非視域光場(chǎng)。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述基于數(shù)據(jù)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以從非視域場(chǎng)到視域場(chǎng)的三維重建掃描，包括：將所述非視域光場(chǎng)和視域場(chǎng)進(jìn)行匹配重建，以將生成的數(shù)據(jù)進(jìn)行訓(xùn)練，達(dá)到快速重建非視域場(chǎng)景。

為達(dá)到上述目的，本發(fā)明另一方面實(shí)施例提出了一種基于深度學(xué)習(xí)的非視域飛秒成像三維重建裝置，包括：視域光線追蹤渲染模塊，用于建立視域場(chǎng)景的三維模型，利用空間坐標(biāo)系確定每個(gè)離散面片的位置和方向，并且進(jìn)行視域下高速渲染；非視域重建相機(jī)模型模塊，用于對(duì)光照?qǐng)鼍斑M(jìn)行非視域光追渲染；神經(jīng)網(wǎng)絡(luò)重建模塊，用于基于數(shù)據(jù)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以從非視域場(chǎng)到視域場(chǎng)的三維重建掃描。