[發明專利]適用于2D卷積神經網絡的可學習引導濾波模塊和方法

有效

• 申請號: 201910867312.5
• 申請日: 2019-09-12
• 公開（公告）號: CN110599534B
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 李秀;宋愷祥
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06T7/55
• 分類號: G06T7/55
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 王震宇

1.一種適用于2D卷積神經網絡的可學習引導濾波模塊，其特征在于,在所述引導濾波模塊中，對于由輸入的原始引導圖轉換得到的導向引導圖，使每一個導向引導圖對應于原始特征圖的向指定方向的位移操作，將每一個導向引導圖與相對應方向位移后的特征圖進行逐像素點的相乘操作，并將所有方向乘積結果進行求和，獲得處理后的特征圖，其是以導向引導圖為權重，對不同方向位移后的特征圖進行加權求和的結果，從而實現引導濾波；其中，設定引導半徑r，對應的引導窗口寬度為w＝2*r+1，以確定引導濾波的范圍；基礎網絡輸出的最終結果為2*H*W維的特征圖，2表示左右視差圖有兩張，或者兩個通道，H為圖像的高，W為圖像的寬，對應的導向引導圖中的每一張導向引導圖與對應通道及位移的特征圖進行相乘。

2.如權利要求1所述的可學習引導濾波模塊，其特征在于,引導窗口選擇5*5大小，對應的導向引導圖為50張。

3.如權利要求1至2任一項所述的可學習引導濾波模塊，其特征在于,對于待處理的特征圖F，維度為C*H*W，特征圖的位移方向為d，D表示位移方向的集合，F向指定方向進行位移后的結果為其中，位移操作以特征圖大小為窗口，將特征圖向位移方向滑動，滑出窗口的像素點丟棄，新加入窗口的像素點補零，最終的結果為各個方向的導向引導圖ω(d)與該方向位移后的特征圖的逐點相乘，表示為并將得到的所有特征圖求和的結果F_d(p)，表示為公式1：

其中p代表特征圖或導向引導圖上一點。

4.如權利要求1至2任一項所述的可學習引導濾波模塊，其特征在于,原始引導圖通過以下方式中的一種或多種獲取：直接使用輸入圖片，送進網絡中提取；使用中間層特征圖；使用圖片與上采樣后的特征圖concat在一起后的特征圖；使用沙漏網絡中間層的多級特征。

5.如權利要求1至2任一項所述的可學習引導濾波模塊，其特征在于,導向引導圖具有原始圖像梯度信息。

6.如權利要求1至2任一項所述的可學習引導濾波模塊，其特征在于,所述引導濾波模塊是一系列串聯的2D卷積網絡。

7.一種適用于2D卷積神經網絡的可學習引導濾波方法，其特征在于,使用如權利要求1至6任一項所述的可學習引導濾波模塊實現引導濾波。

8.一種全2D卷積神經網絡，其特征在于,具有如權利要求1至6任一項所述的可學習引導濾波模塊。

9.一種2D深度估計系統，其特征在于，包括concat模塊，導向引導圖提取模塊、ResNet模塊、以及如權利要求1至6任一項所述的可學習引導濾波模塊,用于實現全2D雙目深度估計；

其中引導圖來源為由所述concat模塊concat到一起的左右圖像，所述導向引導圖提取模塊中包含有多個卷積模塊，除最后一個卷積模塊Conv5只有卷積層之外，每個卷積模塊由卷積層、BN層和ReLU層串聯而成，所有卷積層的卷積核大小為3，填充和步長均為1，通道數的設置采用先增后減，最后增加為導向引導圖的個數；

其中，在得到導向引導圖之后，通過所述可學習引導濾波模塊，將導向引導圖與最后一層輸出的特征圖進行作用，使用導向引導圖對不同方向位移后的特征圖進行加權求和，獲得濾波后的結果圖。

10.一種在全2D卷積神經網絡中訓練引導濾波模塊的方法，其特征在于,包括以下三步：

1)在加入引導濾波模塊之前，首先訓練基礎網絡架構，讓模型充分學習；

2)在訓練好的基礎模型中加入如權利要求1至6任一項所述的可學習引導濾波模塊，并固定基礎模型的參數，以訓練基礎模型時四分之一到二分之一的學習率訓練2D可學習引導濾波模塊，并訓練第一階段的三分之一輪次；

3)將模型中所有參數解除固定，以第一階段學習率的四分之一進行微調，直到充分學習數據集中的信息。