[發(fā)明專利]一種基于細(xì)節(jié)信息保持的多視點視圖深度估計方法

在審

• 申請?zhí)枺?/td>: 202110151211.5
• 申請日: 2021-02-03
• 公開（公告）號: CN112907641A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計）人: 周文暉;黃鴻飛;張樺;戴國駿;徐風(fēng)帆;沈蓉豪
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/04;G06N3/08;G06T7/10
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于細(xì)節(jié)信息保持的多視點視圖深度估計方法，其特征在于輸入為一組多視點圖像，輸出為主視點的深度圖，輸出的深度圖中，只有目標(biāo)區(qū)域有深度信息，其他區(qū)域沒有深度信息；具體包括如下步驟：

步驟1、輸入多視點圖像序列，尺寸為W×H，W為圖像的寬，H為圖像的高；多視點圖像序列包含一幅主視點圖像C_s和其他視點圖像C_i；將多視點圖像序列輸入到一個U型神經(jīng)網(wǎng)絡(luò)中，提取圖像語義特征；

步驟2、將U型神經(jīng)網(wǎng)絡(luò)中的第十三層輸出特征圖對應(yīng)的特征O₃輸入到兩個分支網(wǎng)絡(luò)中，其中一個分支網(wǎng)絡(luò)將特征O₃通過三層卷積層得到S/4尺度的分割圖S₃，另一個分支網(wǎng)絡(luò)將特征O₃通過三層卷積層得到特征圖F₃，將S₃與F₃逐像素相乘，獲得3D特征體素V₃；

步驟3.將3D特征體素V₃經(jīng)過三層3D卷積進行特征提取后，按照基于方差的度量方法得到新的深度估計圖DM_3d；

步驟4、將深度估計圖DM_3d上采樣，得到(S/2)×(S/2)×1的深度圖DM₃；同時將U型神經(jīng)網(wǎng)絡(luò)中的第十六層的特征O₂輸入到兩個分支網(wǎng)絡(luò)，得到S/2尺度的分割圖S₂和特征圖F₂，將S₂與F₂逐像素相乘獲得3D特征體素V₂；

步驟5、將3D特征體素V₂經(jīng)過三層3D卷積進行特征提取后，按照基于方差的度量方法得到新的深度估計圖DM_2d；

步驟6、將深度估計圖DM_2d上采樣，得到S×S×1的深度圖DM₂；將U型神經(jīng)網(wǎng)絡(luò)中的第十九層的特征O₁輸入到兩個分支網(wǎng)絡(luò)，得到S尺度的分割圖S₁和特征圖F₁，將S₁與F₁逐像素相乘得到3D特征體素V₁；

步驟7、將3D特征體素V₁，經(jīng)過三層3D卷積進行特征提取按照基于方差的度量方法得到新的最終深度估計圖DM₁。

2.根據(jù)權(quán)利要求1所述的一種基于細(xì)節(jié)信息保持的多視點視圖深度估計方法，其特征在于步驟1所述的U型神經(jīng)網(wǎng)絡(luò)的定義如下：

卷積核的大小為3×3，池化層為最大池化層，上采樣的方式選擇轉(zhuǎn)置卷積；在相同的尺度且未進入多分支的情況下，通道數(shù)不變；S/8尺度、S/4尺度、S/2尺度和S尺度對應(yīng)的通道數(shù)分別為1024、512、256和128；將尺度為S×S的多視點圖像輸入到U型神經(jīng)網(wǎng)絡(luò)中，首先經(jīng)過三層卷積層，得到的特征圖尺度為S×S×128；將做最大池化并增加一倍，經(jīng)過三層卷積，得到了(S/2)×(S/2)×256的特征圖將特征圖做最大池化并增加一倍，經(jīng)過三層卷積，得到了(S/4)×(S/4)×512的特征圖將做最大池化增加一倍，得到(S/8)×(S/8)×1024的特征圖將特征圖進行轉(zhuǎn)置卷積并兩兩相加，得到(S/4)×(S/4)×512的特征圖將特征圖進行轉(zhuǎn)置卷積并相加，得到(S/2)×(S/2)×256的特征圖將特征圖進行轉(zhuǎn)置卷積并兩兩相加，得到S×S×128的特征圖；第十三層的特征圖尺度為原圖的四分之一，是最大的尺度的深度估計；第十六層的特征圖尺度為原圖的二分之一，是中間尺度的深度估計；第十九層的特征尺度與原圖相等的，是最精細(xì)尺度的深度估計。