[發(fā)明專利]基于方向和尺度自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)的光場深度估計(jì)方法

有效

• 申請?zhí)枺?/td>: 201810317425.3
• 申請日: 2018-04-10
• 公開（公告）號: CN108846473B
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計(jì)）人: 周文暉;梁麟開;魏興明;周恩慈
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06T7/557
• 分類號: G06T7/557;G06N3/04
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開了一種基于方向和尺度自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)的光場深度估計(jì)方法。本發(fā)明包括如下步驟：步驟1.準(zhǔn)備光場數(shù)據(jù)集，制作訓(xùn)練集和測試集；步驟2.搭建方向和尺度自適應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)SOA?EPN；步驟3.使用訓(xùn)練集訓(xùn)練搭建好的SOA?EPN網(wǎng)絡(luò)；步驟4.使用練好的SOA?EPN網(wǎng)絡(luò)在測試集上進(jìn)行測試；本發(fā)明借助于尺度和方向感知卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測光場深度，不僅利用了多方向，而且很好的處理了遮擋等問題，得到準(zhǔn)確的深度估計(jì)結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明是關(guān)于深度學(xué)習(xí)與光場深度估計(jì)領(lǐng)域，特別涉及基于方向和尺度自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)的光場深度估計(jì)方法。

背景技術(shù)

深度學(xué)習(xí)是近年來人工智能領(lǐng)域中的一項(xiàng)重要突破，已在圖像識別、語音識別、自然語言處理等多個方向取得了突破性進(jìn)展。相比于傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)方法的主要過程為：構(gòu)建數(shù)據(jù)集；使用卷積層、全連接層、激活層等定義深度神經(jīng)網(wǎng)絡(luò)，定義損失函數(shù)；利用數(shù)據(jù)集訓(xùn)練定義好的深度網(wǎng)絡(luò)模型，即使用反向傳播技術(shù)和梯度下降等優(yōu)化方法更新神經(jīng)網(wǎng)絡(luò)的參數(shù)。訓(xùn)練完成的深度網(wǎng)絡(luò)模型可以擬合出某個高維復(fù)雜函數(shù)，該函數(shù)實(shí)現(xiàn)網(wǎng)絡(luò)輸入到輸出的映射；利用訓(xùn)練好的深度模型在測試數(shù)據(jù)集上進(jìn)行預(yù)測。卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)發(fā)展最成功的網(wǎng)絡(luò)結(jié)構(gòu)之一，它擅長利用卷積層提取輸入圖像從低維到高維的深度特征，然后利用這些特征完成分類、回歸等任務(wù)。

與此同時(shí)，光場成像與計(jì)算是近年來計(jì)算機(jī)視覺領(lǐng)域中的一門新興技術(shù)，通過在相機(jī)鏡頭和圖像傳感器之間增加一個微透鏡陣列，光場相機(jī)可以記錄下匯聚在傳感器像素上的光線的亮度與角度，形成4D光場，為突破傳統(tǒng)成像模型和成像機(jī)制的維度局限提供了新思路和新方法[]。鑒于4D光場提供的豐富信息，利用光場圖像進(jìn)行場景結(jié)構(gòu)(深度)恢復(fù)的研究獲得了越來越多的關(guān)注，一批基于EPI(Epipolar Plane Image)圖像分析的深度估計(jì)方法涌現(xiàn)出來，這些方法本質(zhì)上是一種立體匹配方法。EPI圖像是4D光場的一個切片，它由極線(Epipolar Lines)組成，通過計(jì)算極線的斜率，可以間接獲得深度圖，完成深度估計(jì)。但是這種方法也面臨著難以計(jì)算圖像無紋理區(qū)域、遮擋區(qū)域的深度等問題。如何選擇大小合適的匹配窗口是解決這些問題的一個關(guān)鍵，例如在計(jì)算圖像無紋理區(qū)域的深度時(shí)，需要一個較大的窗口將更多的鄰域像素納入到匹配代價(jià)的計(jì)算中，增強(qiáng)鄰域約束。相反，在計(jì)算圖像遮擋區(qū)域的深度時(shí)，需要一個較小的窗口避免納入過多的遮擋點(diǎn)影響匹配代價(jià)的計(jì)算。另一方面，多方向EPI圖像為深度估計(jì)提供了更多的約束和深度線索。綜上，我們設(shè)計(jì)了一種具備EPI圖像方向自適應(yīng)、EPI圖像尺度自適應(yīng)能力的卷積神經(jīng)網(wǎng)絡(luò)來解決上述深度估計(jì)面臨的無紋理和遮擋問題。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，設(shè)計(jì)了一種以0°、45°、90°、135°四個方向的EPI圖像塊作為輸入，輸出視差圖，具備EPI圖像方向自適應(yīng)、EPI圖像尺度自適應(yīng)能力的卷積神經(jīng)網(wǎng)絡(luò)(SOA-EPN)，并利用SOA-EPN提出了一種光場深度估計(jì)方法。

本發(fā)明解決其技術(shù)問題采取的技術(shù)方案包括如下步驟：

步驟1.準(zhǔn)備光場數(shù)據(jù)集，制作訓(xùn)練集和測試集；

步驟2.搭建方向和尺度自適應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)SOA-EPN；

步驟3.使用訓(xùn)練集訓(xùn)練搭建好的SOA-EPN網(wǎng)絡(luò)；

步驟4.使用練好的SOA-EPN網(wǎng)絡(luò)在測試集上進(jìn)行測試；

步驟1具體包括下述步驟：