[發明專利]一種基于細節信息保持的多視點視圖深度估計方法

在審

• 申請號: 202110151211.5
• 申請日: 2021-02-03
• 公開（公告）號: CN112907641A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 周文暉;黃鴻飛;張樺;戴國駿;徐風帆;沈蓉豪
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/04;G06N3/08;G06T7/10
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于細節信息保持的多視點視圖深度估計方法。本方法首先利用U型神經網絡提取出圖片序列在不同尺度的特征，在同一尺度的特征中，分為兩個分支：一個分支進行分割操作，得到高質量細節保持的目標分割圖；一個分支進行為后續的深度估計進行特征提取。將不同尺度的特征與同尺度下的分割圖F_s相乘，按照單應矩陣映射融合為3D特征體素，最后通過回歸得到深度圖。將該深度圖與對應大小的F_s逐像素相乘，通過由粗到細不同尺度的優化，輸出最終的深度圖，其中只有目標的深度信息有效。本發明提出的基于細節信息保持的多視點視圖深度估計方法，避免了重建中背景對目標的影響，提高了深度估計的精度。

技術領域

本發明涉及深度估計領域，具體是一種基于細節信息保持的多視點視圖深度估計方法。

背景技術

重建真實世界中物體的三維建模一直是計算機視覺領域熱點之一。圖像是真實世界中三維場景在二維平面的一個投影。傳統多視點三維重建方法耗時長，易受到復雜背景的干擾，并存在因深度估計不準確而導致重建質量差等問題。近年來，隨著深度相機的普及，基于RGB-D相機的三維重建研究取得了顯著進展，但仍存在深度分辨率不高，深度圖過度平滑等缺點，導致重建的模型細節信息丟失。

基于圖像的傳統三維重建通常采用從運動恢復結構的技術，利用立體匹配算法計算出每幀圖像對應的深度圖，形成每幀圖像的三維點云；并通過相鄰幀運動估計獲取每幀圖像的相機位姿，進而將每幀圖像的三維點云融合成最終的三維模型。然而傳統三維重建技術通常存在以下缺點：在大尺度背景下重建小尺度目標時，特征提取與匹配易受到背景紋理干擾，使得估計的位姿不夠精確，且容易丟失目標的細節信息；此外，傳統立體匹配算法在遮擋和弱紋理區域中難以精確估計出深度信息。

為解決傳統三維重建技術的局限，本發明采用深度學習方法，在多視點視圖深度估計的同時，實現基于細節信息保持的目標分割，得到目標區域，從而減少背景的影響，提高位姿和深度估計的精度。

發明內容

本發明的目的是針對現有技術不足，提供一種基于細節信息保持的多視點視圖深度估計方法。本發明其輸入為一組多視點圖像，輸出為主視點的深度圖，輸出的深度圖中，只有目標區域有深度信息，其他區域沒有深度信息。

為了實現上述目的，本發明的技術方案包括如下步驟：

步驟1、輸入多視點圖像序列，尺寸為W×H，W為圖像的寬，H為圖像的高；多視點圖像序列包含一幅主視點圖像C_s和其他視點圖像C_i，i＝1,2...N，N為視點編號。將多視點圖像序列輸入到一個U型神經網絡中，提取圖像語義特征。

所述的U型神經網絡的定義如下：卷積核的大小為3×3，池化層為最大池化層，上采樣的方式選擇轉置卷積。在相同的尺度且未進入多分支的情況下，通道數不變；S/8尺度、S/4尺度、S/2尺度和S尺度對應的通道數分別為1024、512、256和128。將尺度為S×S的多視點圖像輸入到U型神經網絡中，首先經過三層卷積層，得到的特征圖尺度為S×S×128；將做最大池化并增加一倍，經過三層卷積，得到了(S/2)×(S/2)×256的特征圖將特征圖做最大池化并增加一倍，經過三層卷積，得到了(S/4)×(S/4)×512的特征圖將做最大池化增加一倍，得到(S/8)×(S/8)×1024的特征圖將特征圖進行轉置卷積并兩兩相加，得到(S/4)×(S/4)×512的特征圖將特征圖進行轉置卷積并相加，得到(S/2)×(S/2)×256的特征圖將特征圖進行轉置卷積并兩兩相加，得到S×S×128的特征圖。第十三層的特征圖尺度為原圖的四分之一，是最大的尺度的深度估計；第十六層的特征圖尺度為原圖的二分之一，是中間尺度的深度估計；第十九層的特征尺度與原圖相等的，是最精細尺度的深度估計。