[發明專利]一種視差確定方法、裝置、設備、介質

有效

• 申請號: 202111087988.6
• 申請日: 2021-09-16
• 公開（公告）號: CN113793290B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 鄒智康;葉曉青;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/0475;G06N3/094
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

1.一種利用視差優化網絡來實現的視差確定方法，所述視差優化網絡包括多個級聯的層結構，并且所述方法包括：

獲取目標視圖相應的多個圖像，所述多個圖像中的每一個圖像為通過對所述目標視圖進行尺寸調整來獲得的，并且所述多個圖像中的每一個圖像與所述視差優化網絡中相應的層結構所輸出的特征圖的尺寸相同；

至少基于所述目標視圖生成初始視差圖；以及

至少將所述初始視差圖輸入到所述視差優化網絡，并且將所述多個圖像中的每一個圖像與相應的層結構所輸出的特征圖進行融合并將融合所得到的圖像輸入到所述視差優化網絡，獲取所述視差優化網絡輸出的優化視差圖。

2.如權利要求1所述的方法，其中，所述視差優化網絡中的各層結構均包括特征提取層和池化層。

3.如權利要求1所述的方法，其中，所述獲取所述視差優化網絡輸出的優化視差圖包括：

將所述目標視圖與所述初始視差圖進行融合，得到初始融合圖像；以及

將所述初始融合圖像輸入到所述視差優化網絡。

4.如權利要求2所述的方法，其中，所述獲取所述視差優化網絡輸出的優化視差圖包括：

將所述多個圖像中的每一個圖像與相應的層結構所輸出的特征圖進行融合，以得到相應的融合圖像；

將所述相應的融合圖像輸入到所述相應的層結構的下一層；以及

基于所述視差優化網絡的最后一層結構，確定所述優化視差圖。

5.如權利要求4所述的方法，其中，所述將所述多個圖像中的每一個圖像與相應的層結構所輸出的特征圖進行融合包括：

利用該層結構的特征提取層提取輸入到該層結構的融合圖像的特征圖，其中，輸入到該層結構的融合圖像和該層結構的特征提取層所提取的特征圖均具有第一尺寸；

利用該層結構的池化層對所提取的特征圖進行降維，以輸出具有第二尺寸的特征圖；以及

將所述具有第二尺寸的特征圖與所述多個圖像中相應的另一個圖像進行融合。

6.如權利要求4所述的方法，其中，所述基于所述視差優化網絡的最后一層結構，確定所述優化視差圖包括：

利用所述最后一層結構，提取輸入到所述最后一層結構的融合圖像的特征圖；以及

對所述最后一層結構所提取的特征圖進行上采樣，以獲得所述優化視差圖，其中，所述優化視差圖具有與所述目標視圖相同的尺寸。

7.如權利要求1所述的方法，其中，對所述每一個圖像與相應的層結構所輸出的特征圖所進行的融合包括通道堆疊、矩陣相乘或矩陣相加。

8.一種視差優化網絡的訓練方法，所述視差優化網絡包括多個級聯的層結構，并且所述方法包括：

獲取樣本視圖相應的真實視差圖和多個樣本圖像，所述多個樣本圖像中的每一個樣本圖像為通過對所述樣本視圖進行尺寸調整來獲得的，并且所述多個樣本圖像中的每一個樣本圖像與所述視差優化網絡中相應的層結構所輸出的特征圖的尺寸相同；

至少基于所述樣本視圖生成初始樣本視差圖；

至少將所述初始樣本視差圖輸入到視差優化網絡，并且將所述多個樣本圖像中的每一個樣本圖像與相應的層結構所輸出的特征圖進行融合并將融合所得到的圖像輸入到所述視差優化網絡，獲取視差優化網絡輸出的優化樣本視差圖；

將所述優化樣本視差圖和真實視差圖輸入到判別網絡，以確定判別概率，所述判別概率能夠表征所述優化樣本視差圖與所述真實視差圖之間的差異，其中，所述真實視差圖具有與所述優化樣本視差圖相同的尺寸；

響應于所述判別概率不符合預設的判別條件，更新所述視差優化網絡和所述判別網絡的參數；以及

迭代上述過程直到所述判別概率符合所述預設的判別條件。