[發(fā)明專利]一種基于多層卷積神經(jīng)網(wǎng)絡(luò)的圖像深度估計方法和裝置

在審

• 申請?zhí)枺?/td>: 202011320209.8
• 申請日: 2020-11-23
• 公開（公告）號: CN112508171A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 喬霈;李德源;牛蒙青
• 申請（專利權(quán)）人: 中國輻射防護(hù)研究院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T7/557
• 代理公司: 北京天悅專利代理事務(wù)所(普通合伙) 11311
• 代理人: 田明;楊方

本發(fā)明公開了一種基于多層卷積神經(jīng)網(wǎng)絡(luò)的圖像深度估計方法和裝置，方法包括：S100、通過光場相機(jī)獲取三維場景中物理模型的多個光場圖像，形成圖像數(shù)據(jù)集；S200、對圖像數(shù)據(jù)集中的光場圖像進(jìn)行預(yù)處理；S300、基于預(yù)處理后的圖像數(shù)據(jù)集，對多層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練和特征學(xué)習(xí)，獲取圖像數(shù)據(jù)集中每個圖像的深度信息。本發(fā)明設(shè)計了新的多層卷積神經(jīng)網(wǎng)絡(luò)，通過該方法獲取圖像的深度信息，進(jìn)而能夠更準(zhǔn)確的測量射線在組織等效材料中的三維劑量分布信息。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像深度信息技術(shù)領(lǐng)域，具體涉及一種基于多層卷積神經(jīng)網(wǎng)絡(luò)的圖像深度估計方法和裝置。

背景技術(shù)

現(xiàn)階段，在核工業(yè)領(lǐng)域的許多方面，如輻射探測的研究、輻射對人體造成的影響等，都需要三維劑量的測量提供數(shù)據(jù)支撐。放射治療廣泛應(yīng)用于癌癥等人體疾病治療中，在放射治療過程中，劑量的估算至關(guān)重要，準(zhǔn)確的劑量估算可以避免病人出現(xiàn)超劑量照射風(fēng)險。光場成像技術(shù)作為現(xiàn)代圖像測量的一個分支，廣泛應(yīng)用于工業(yè)制造、機(jī)器視覺等領(lǐng)域。使用光場成像技術(shù)，獲取光場圖像，利用深度估計算法進(jìn)行反演，進(jìn)而獲取光場的三維分布信息。因此，圖像的深度信息獲取在三維劑量測量任務(wù)中顯得尤為重要。

目前，深度估計方法主要分為兩大類：主動深度估計方法和被動深度估計方法。主動深度估計方法是根據(jù)場景信息，控制攝像機(jī)系統(tǒng)和成像環(huán)境，然后，獲得場景信息。該方法獲取深度信息的準(zhǔn)確度較高，但是由于其測量系統(tǒng)體積較大，成本較高，一般不被大家廣泛使用。被動深度估計方法，與主動方法差異較大，通過調(diào)整攝像機(jī)鏡頭的光圈，找到拍攝圖片時各個像素點(diǎn)最佳的拍攝角度，然后，根據(jù)相機(jī)的成像原理，計算各像素的清晰度，用清晰的像素點(diǎn)構(gòu)成一張全聚焦圖像，對這張圖進(jìn)行深度估計，最后進(jìn)行優(yōu)化處理，得到圖像的場景深度信息。這種方法的操作過程較復(fù)雜。因此，為進(jìn)一步降低基于EPI深度估計算法的復(fù)雜度，同時提高圖像重建的分辨率，需要從操作過程、準(zhǔn)確度和成本等方面綜合考慮一種圖像深度估計的算法對光場圖像進(jìn)行重建，最終提高三維劑量的測量結(jié)果。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的在于提供一種基于多層卷積神經(jīng)網(wǎng)絡(luò)的圖像深度估計方法和裝置，設(shè)計了新的多層卷積神經(jīng)網(wǎng)絡(luò)用于光場圖像深度估計，獲取圖像的深度信息，進(jìn)而能夠更準(zhǔn)確的測量射線在組織等效材料中的三維劑量分布信息。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于多層卷積神經(jīng)網(wǎng)絡(luò)的圖像深度估計方法，包括：

S100、通過光場相機(jī)獲取三維場景中物理模型的多個光場圖像，形成圖像數(shù)據(jù)集；

S200、對所述圖像數(shù)據(jù)集中的光場圖像進(jìn)行預(yù)處理；

S300、基于預(yù)處理后的所述圖像數(shù)據(jù)集，對多層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練和特征學(xué)習(xí)，獲取所述圖像數(shù)據(jù)集中每個圖像的深度信息。

進(jìn)一步，如上基于多層卷積神經(jīng)網(wǎng)絡(luò)的圖像深度估計方法，S100包括：

S101、所述物理模型內(nèi)的閃爍體在受到輻射源的射線的能量沉積時，產(chǎn)生發(fā)光信息，且光產(chǎn)額與射線的能量沉積成正比；

S102、所述光場相機(jī)收集所述物理模型產(chǎn)生的發(fā)光信息，根據(jù)收集的發(fā)光信息重建所述物理模型受到輻射后形成的三維發(fā)射光的光場圖像，形成圖像數(shù)據(jù)集。

進(jìn)一步，如上基于多層卷積神經(jīng)網(wǎng)絡(luò)的圖像深度估計方法，所述光場相機(jī)包括：依次排列的主鏡頭、微透鏡陣列和圖像傳感器，所述圖像傳感器對準(zhǔn)所述微鏡頭陣列，所述主鏡頭的鏡頭對準(zhǔn)所述物理模型，所述微鏡頭陣列中的每個微透鏡均覆蓋多個傳感器像素。

進(jìn)一步，如上基于多層卷積神經(jīng)網(wǎng)絡(luò)的圖像深度估計方法，S200包括：

S201、從所述圖像數(shù)據(jù)集中的每個光場圖像中提取多個像素點(diǎn)對應(yīng)的水平方向和垂直方向的極線圖區(qū)域塊；

S202、從提取的極線圖區(qū)域塊中去除紋理不清晰的極線圖區(qū)域塊；