[發(fā)明專利]一種基于3D卷積的光場顯著性目標檢測方法

有效

• 申請?zhí)枺?/td>: 202110600616.2
• 申請日: 2021-05-31
• 公開（公告）號: CN113343822B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設計）人: 王昕;熊高敏;張釗;馮進;于海潮;高雋
• 申請（專利權）人: 合肥工業(yè)大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/46;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于3D卷積的光場顯著性目標檢測方法，其特征是按照如下步驟進行：

步驟1、對光場數(shù)據(jù)進行重聚焦，得到不同聚焦參數(shù)下的光場數(shù)據(jù)；

步驟1.1、將第n個場景的光場數(shù)據(jù)用進行表示，其中，u和v分別表示視角維度中的任一水平視角和豎直視角，且M表示水平和豎直方向的最大視角數(shù)；x和y分別表示空間維度中任一水平方向和豎直方向的像素點坐標，且x∈[1,X],y∈[1,Y]，X,Y分別表示視角圖像的最大空間寬度和最大空間高度；n∈[1,N]，N表示光場數(shù)據(jù)的數(shù)目，F(xiàn)表示光場相機主透鏡到傳感器的距離；

步驟1.2、對所述第n個場景的光場數(shù)據(jù)在虛擬焦平面F_α處進行重聚焦，得到重聚焦后的光場數(shù)據(jù)其中，F(xiàn)′_α為虛擬焦平面F_α到相機主透鏡的距離，x′和y′分別表示重聚焦后視角圖像空間維度中任一水平方向和豎直方向的像素點坐標；

步驟2、對重聚焦后的光場數(shù)據(jù)進行解碼，得到聚焦在場景不同深度下的焦點堆棧；

步驟2.1、利用式(1)對重聚焦后的光場進行計算成像，得到第n個場景在虛擬焦平面F_α處的圖像

式(1)中，α表示虛擬焦平面F_α至傳感器的距離與光場相機主透鏡至傳感器的距離F的比例系數(shù)；

步驟2.2、取不同的比例系數(shù)α，并重復步驟1.2至步驟2.1，從而得到一系列聚焦在場景不同深度的圖像并作為第n個場景的焦點堆棧，記為其中，表示第n個場景的第m幅重聚焦圖像，m∈[1,M]，M表示焦點堆棧包含的重聚焦圖像數(shù)量，的高度、寬度和通道數(shù)分別為H,W,C；

步驟3、對所述第n個場景的焦點堆棧包含的重聚焦圖像進行數(shù)據(jù)增強處理，得到第n個場景數(shù)據(jù)增強后的重聚焦圖像集合，即數(shù)據(jù)增強后的焦點堆棧，記為

將所述第n個場景的真實顯著圖記為Gⁿ，對所述第n個場景的真實顯著圖Gⁿ進行與重聚焦圖像相對應的數(shù)據(jù)增強處理，得到數(shù)據(jù)增強后的真實顯著圖

步驟4、構建基于3D卷積的光場顯著性目標檢測模型，所述基于3D卷積的光場顯著性目標檢測模型包含：編碼器、解碼器和優(yōu)化模塊；

步驟4.1、構建所述編碼器是由3D卷積模塊、3D殘差模塊、3D池化層、通道降維模塊組成，其中3D卷積模塊和3D殘差模塊均由ResNet50對應的2D卷積模塊膨脹得到；

所述3D卷積模塊依次由i個卷積層、批量歸一化層和ReLU激活層構成；

所述編碼器包含j個3D殘差模塊，所述3D殘差模塊依次由r₁,...,r_i,...,r_j個3D殘差子模塊構成，其中，每個3D殘差模塊的第一個3D殘差子模塊依次由第一卷積層、第一批量歸一化層、第一ReLU激活層、第二卷積層、第二批量歸一化層、第二ReLU激活層、第三卷積層、第三批量歸一化層和第三ReLU激活層的第一通道以及并聯(lián)的一個采樣模塊構成，而其余3D殘差子模塊僅包含第一通道的結(jié)構，所述采樣模塊由一個3D卷積層和一個批量歸一化層構成；

所述編碼器包含j+1個3D池化層，并將3D池化層分別設置在3D卷積模塊和3D殘差模塊之后對特征深度維度進行降維處理；

所述編碼器包含由j+1個通道降維模塊，并分別設置在3D卷積模塊和3D殘差模塊之后，用于對特征通道維度進行下采樣，以將通道數(shù)降到C_N，其中，每個通道降維模塊由j-1個3D卷積模塊構成；

步驟4.2、構建所述解碼器是由3D解碼模塊、上采樣模塊、特征輸出模塊、預測模塊構成；

所述解碼器包含j+2個3D解碼模塊，所述3D解碼模塊依次由第四卷積層、第四批量歸一化層、第四ReLU激活層、第五卷積層、第五批量歸一化層、第五ReLU激活層、第六卷積層、第六批量歸一化層和第六ReLU激活層構成；

所述解碼器包含j個上采樣模塊，所述上采樣模塊依次由空間上采樣子模塊和深度上采樣子模塊構成，其中，空間上采樣使用雙線性插值的方法將特征圖像的寬度和高度擴大到原來的兩倍，深度上采樣子模塊包含一個3D反卷積層、一個批量歸一化層、一個ReLu激活層；

所述解碼器包含j個特征輸出模塊，每個特征輸出模塊依次由一個3D卷積層和一個上采樣層構成，其中，上采樣層的采樣率為f，用于將特征的寬度和高度擴大到原來的f倍；

所述預測模塊依次由3D卷積層、上采樣層和3D卷積層構成；

步驟4.3、構建所述優(yōu)化模塊是由2D編碼模塊、2D解碼模塊構成；

步驟4.3.1、所述2D編碼模塊由2D卷積層、2D卷積模塊、2D池化層構成；

所述2D卷積層包含p個大小為(k,k)的卷積核，卷積核的移動步長為(s,s)，補零個數(shù)為(p,p)；

所述2D編碼模塊包含j+1個2D卷積模塊，所述2D卷積模塊依次由卷積層、批量歸一化層和ReLU激活層構成；

所述2D編碼模塊包含j個2D池化層，并將2D池化層分別設置在第1,2,..,j個2D卷積模塊之后對特征空間維度進行降維處理；

步驟4.3.2、所述2D解碼模塊由上采樣層、2D卷積模塊、2D卷積層構成；

所述2D解碼模塊包含j個上采樣層，所述上采樣層用于對空間維度進行l(wèi)倍上采樣，并將第一個上采樣層設置在2D編碼模塊的第j個2D卷積模塊之后；

所述2D解碼模塊包含j個2D卷積模塊，所述2D卷積模塊依次由卷積層、批量歸一化層和ReLU激活層構成，并將第1,2,..,j個2D卷積模塊分別設置在第1,2,..,j個上采樣層之后；

所述2D解碼模塊包含的2D卷積層，并設置在解碼模塊的最后一個2D卷積模塊之后；

步驟5、訓練基于3D卷積的光場顯著性目標檢測模型，并評估模型在待檢測的焦點堆棧上的精度；

步驟5.1、以數(shù)據(jù)增強后的第n個場景的焦點堆棧及其對應的真實顯著圖作為光場顯著性目標檢測模型的輸入，并經(jīng)過基于3D卷積的光場顯著性目標檢測模型的處理，在第1,2,..,j個特征輸出模塊分別得到j個粗糙的顯著圖，在預測模塊得到一個較精細的顯著圖，在優(yōu)化模塊得到最終的顯著圖；

使用平均絕對誤差作為損失函數(shù)，分別計算j個粗糙的顯著圖、一個較精細的顯著圖和最終的顯著圖共j+2個顯著圖和真實顯著圖之間的損失，并利用梯度下降算法對所述光場顯著性目標檢測模型進行訓練，從而得到最優(yōu)光場顯著性目標檢測模型；

步驟5.2、以最優(yōu)光場顯著性目標檢測模型對任意光場焦點堆棧進行顯著性目標檢測。