[發明專利]一種基于ASPP-CycleGAN的深度估計系統及其算法

有效

• 申請號: 202110556630.7
• 申請日: 2021-05-21
• 公開（公告）號: CN113298861B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 張昀;徐欽晨;李潤琦;姚成杰;毛新濤;黃橙;吳夢潔;于舒娟
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 韓紅莉

1.一種基于ASPP-CycleGAN的深度估計系統，其特征在于，構建ASPP-CycleGAN模型，ASPP-CycleGAN模型中包括兩個生成對抗網絡；

兩個生成對抗網絡均包括生成器和判別器；

生成器引用空洞卷積的空間金字塔，判別器采用多層全域卷積結構；

生成器包括編碼器、ASPP特征轉化器和解碼器，編碼器、ASPP特征轉化器和解碼器依次連接；

構建編碼器，以ResNet-50網絡作為編碼器的基本網絡結構，包括四個殘差卷積塊和一個最大池化層并引入恒等快捷連接；每個殘差卷積塊中都包含若干個殘差結構，每個殘差卷積塊末尾以步幅為2進行下采樣，每經過一個殘差卷積塊，輸入圖片的分辨率都下降為上一層殘差卷積塊的1/2，最終得到的輸入圖片的分辨率為原來1/32的編碼器輸出；

構建ASPP特征轉化器，ASPP特征轉化器基于空洞卷積的空間金字塔池化，ASPP特征轉化器包含四個并行的空洞卷積，將四個并行的空洞卷積得到輸入圖片的特征圖拼接起來，并通過1×1的卷積操作得到最終輸出；通過基于空洞卷積的空間金字塔池化提取感受野；

一種基于ASPP-CycleGAN的深度估計算法，采用上述所述的系統，包括：

輸入右視圖I_r和左視圖I_l，將右視圖I_r和左視圖I_l的分辨率降采樣；

將左視圖I_l輸入ASPP-CycleGAN模型的第一個生成對抗網絡中，生成預估視差圖d_r，預估視差圖d′_r和左視圖I_l重建出對應的右視圖將右視圖送入ASPP-CycleGAN模型的第二個生成對抗網絡中，得到預估視差圖dl，視差圖d₁′和重構出對應的左視圖

判別器D_r將右視圖與水平翻轉的真實圖像進行比較，判斷真假；

判別器D_l將左視圖與輸入圖片進行比較，判斷真假；

融合預估視差圖d_l和預估視差圖d′_r，得到視差圖d，并根據雙目相機的焦距以及基線，推出深度圖；

構建ASPP特征轉化器，包括：

ASPP特征轉化器包括一個3*3的空洞卷積層，一個由四個空洞卷積并行組成的卷積層，以及一個全連接層；

步驟A-21，在卷積層與全連接層之間加入了空間金字塔池化網絡模塊，使得ASPP-CycleGAN模型接收不同尺寸的輸入圖片，并輸出固定尺寸的圖片；

步驟A-22，在卷積層的卷積操作中引入空洞卷積的“擴張率\空洞數”，使得在卷積操作的卷積核進行卷積、增加感受野和學習全局特征時，在各擴張率之間添加間距；

設空洞卷積的卷積核大小為k，擴張率為d，空洞卷積的等效卷積核大小為k′，則

k′＝k+(k-1)×(d-1)，

令RF_i-1表示上一個卷積操作的感受野，RF_i表示當前卷積操作的感受野，S_i-1表示在當前層之前所有卷積操作的步長乘積，則當前卷積操作的感受野計算公式為：

RF_i＝RF_i-1+(k′-1)×S_i-1。

2.根據權利要求1所述的一種基于ASPP-CycleGAN的深度估計系統，其特征在于，

構建解碼器，包括：

解碼器使用雙線性插值的方式進行上采樣；設P點為輸入圖片上所求像素值對應的點，已知周圍Q₁₁、Q₁₂、Q₂₁和Q₂₂的像素值，先在X方向作橫向插值得到R₁和R₂：

其中，f(R₁)為R₁的像素值，f(R₂)為R₂的像素值，x₂為Q₂₁的橫坐標，x₁為Q₂₂的橫坐標，f(Q₁₁)為Q₁₁的像素值，f(Q₂₁)為Q₂₁的像素值，f(Q₁₂)為Q₁₂的像素值，f(Q₂₂)為Q₂₂的像素值；

得到R₁和R₂的坐標值后，對這兩點進行Y方向的縱向插值，得到P點的像素值：

其中，f(P)為P點的像素值，y₂為Q₂₂的縱坐標，y₁為Q₂₁的縱坐標；

當采樣因子大于1時，雙線性插值表現為上采樣；

設置解碼器的卷積核大小為3×3，擴張率為1，步長為2，填充大小為1，使特征圖的分辨率以每級提升兩倍的變化速度上采樣還原為輸入圖片的尺寸。