[發(fā)明專利]基于深度學(xué)習(xí)的精確快速大景深三維重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110646148.2
• 申請(qǐng)日: 2021-06-10
• 公開(kāi)（公告）號(hào): CN113256800B
• 公開(kāi)（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 鄭東亮;張奕;于浩天;冮順奎;張明星;施繼玲;王曉穎
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué)
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06T7/55;G06N3/04;G06N3/08;G01B11/25
• 代理公司: 南京蘇創(chuàng)專利代理事務(wù)所(普通合伙) 32273
• 代理人: 鳳婷

本發(fā)明涉及一種基于深度學(xué)習(xí)的精確快速大景深三維重建方法，屬于計(jì)算機(jī)智能視覺(jué)技術(shù)領(lǐng)域。包括如下步驟：基于深度學(xué)習(xí)設(shè)計(jì)搭建景深拓展卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)三維測(cè)量系統(tǒng)采集待測(cè)物體的原始條紋圖片，再獲取高精度包裹相位，并以此重建三維信息。本發(fā)明提出的方法利用設(shè)備在固定的焦距下所拍攝的三張不同相移的條紋圖像，即可在較大的測(cè)量景深內(nèi)獲得高精度的包裹相位。在這一過(guò)程中，投影儀和相機(jī)所引起的測(cè)量誤差可被明顯降低，僅通過(guò)單次拍攝即可在大景深場(chǎng)景下實(shí)現(xiàn)高性能的三維重建。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度學(xué)習(xí)的精確快速大景深三維重建方法，屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域。

背景技術(shù)

基于數(shù)字條紋投影(DFP)技術(shù)的三維(3D)輪廓術(shù)已經(jīng)被廣泛研究，并應(yīng)用于工業(yè)、機(jī)器人、醫(yī)學(xué)和許多其他領(lǐng)域。然而，現(xiàn)有方法需要在系統(tǒng)校準(zhǔn)后固定焦平面，當(dāng)目標(biāo)不在系統(tǒng)的景深(DOF)內(nèi)時(shí)，導(dǎo)致精度降低和工作范圍受限。為了擴(kuò)大光學(xué)三維測(cè)量系統(tǒng)的工作范圍，人們?cè)O(shè)計(jì)了多種方法，主要分為兩種:虛擬自由度擴(kuò)展和真實(shí)自由度擴(kuò)展。虛擬自由度擴(kuò)展是指增加對(duì)鏡頭模糊的容忍度，包括優(yōu)化模式頻率，估計(jì)和補(bǔ)償模糊效應(yīng)，以及自適應(yīng)調(diào)整模式。當(dāng)投影儀和攝像機(jī)嚴(yán)重散焦時(shí)，由于模式信息的快速退化，虛擬自由度擴(kuò)展方法通常不能處理大的深度變化。真實(shí)自由度擴(kuò)展是指通過(guò)修改相機(jī)或投影儀的配置來(lái)增加物理自由度。基于改進(jìn)投影儀光學(xué)系統(tǒng)的方法包括多焦點(diǎn)投影、編碼孔徑投影和焦點(diǎn)掃描投影。這些方法會(huì)顯著降低光傳輸效率，或者過(guò)于復(fù)雜而難以實(shí)現(xiàn)。2D自動(dòng)聚焦成像只需要確保目標(biāo)在DOF的體積內(nèi)，并且不知道焦距的精確值，但是對(duì)于基于DFP的3D輪廓術(shù)來(lái)說(shuō)，精確地知道焦距的任何變化以獲得最高精度是至關(guān)重要的。因此，傳統(tǒng)的2D自動(dòng)聚焦方法不能直接用于基于DFP技術(shù)的高精度三維形狀測(cè)量。

對(duì)于FPP（fringe projection profilometry，條紋投影輪廓術(shù)）系統(tǒng)，由于有限的景深，很難測(cè)量大深度變化的場(chǎng)景，這容易導(dǎo)致投影儀和攝像機(jī)散焦。前者保持所攜帶的相位不變，但是減少了條紋調(diào)制并增加了由隨機(jī)噪聲引起的相位誤差，這可以通過(guò)暫時(shí)增加條紋或過(guò)濾光譜來(lái)減少。后者使捕獲的條紋變得模糊，并在包含邊緣、階梯和突變的區(qū)域造成嚴(yán)重的測(cè)量誤差。

發(fā)明內(nèi)容

發(fā)明目的：針對(duì)上述現(xiàn)有存在的問(wèn)題和不足，本發(fā)明的目的是提供一種基于深度學(xué)習(xí)的精確快速大景深三維重建方法，能夠在較大的測(cè)量景深范圍內(nèi)實(shí)現(xiàn)高精度的三維測(cè)量，無(wú)需多次采樣，能夠在保證測(cè)量精度的同時(shí)兼顧測(cè)量速度，從而在大景深場(chǎng)景下實(shí)現(xiàn)高性能的三維重建。

技術(shù)方案：為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用以下技術(shù)方案：

一種基于深度學(xué)習(xí)的精確快速大景深三維重建方法，包括以下步驟：

步驟1：搭建神經(jīng)網(wǎng)絡(luò)：設(shè)計(jì)景深拓展卷積神經(jīng)網(wǎng)絡(luò)；

步驟2：基于深度學(xué)習(xí)訓(xùn)練獲得圖像模型：取不同景深的若干個(gè)物體的模糊相移條紋圖像和對(duì)應(yīng)精確相移條紋圖像數(shù)據(jù)進(jìn)行采集，每個(gè)物體選用三個(gè)模糊相移條紋圖像數(shù)據(jù)輸入步驟1中得到的景深拓展卷積神經(jīng)網(wǎng)絡(luò)并進(jìn)行深度學(xué)習(xí)訓(xùn)練，將得到的相位數(shù)據(jù)與精確相移條紋圖像的數(shù)據(jù)對(duì)比，若未達(dá)到預(yù)設(shè)精確度則返回景深拓展卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)優(yōu)化，達(dá)到預(yù)設(shè)精確度時(shí)，則得出此景深對(duì)應(yīng)的條紋圖像模型；

步驟3：多次訓(xùn)練獲得模型集：由若干個(gè)物體經(jīng)過(guò)步驟2后獲得若干組條紋圖像模型；

步驟4：待測(cè)物體條紋圖像采集：通過(guò)三維測(cè)量系統(tǒng)采集待測(cè)物體的三張?jiān)紬l紋圖像；

步驟5：獲取高精度包裹相位：將步驟4中采集的待測(cè)物體的原始條紋圖片代入步驟3中的若干個(gè)條紋圖像模型中，得到對(duì)應(yīng)的高精確包裹相位；

步驟6：重建三維信息：通過(guò)步驟5中得到的高精確包裹相位通過(guò)相位恢復(fù)、相位展開(kāi)和三維重建處理后，再對(duì)待測(cè)物體所處的子景深進(jìn)行定位，得到重建后三維數(shù)據(jù)信息。