[發(fā)明專利]一種視差確定方法、裝置、設(shè)備、介質(zhì)

有效

• 申請?zhí)枺?/td>: 202111087988.6
• 申請日: 2021-09-16
• 公開（公告）號: CN113793290B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計）人: 鄒智康;葉曉青;孫昊
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/0475;G06N3/094
• 代理公司: 北京市漢坤律師事務(wù)所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供了一種視差確定方法，涉及人工智能領(lǐng)域，具體涉及計算機視覺和深度學(xué)習(xí)技術(shù)，具體可用于三維重建場景下。實現(xiàn)方案為：獲取目標視圖相應(yīng)的多個圖像，多個圖像中的每一個圖像為通過對目標視圖進行尺寸調(diào)整來獲得的，并且多個圖像中的每一個圖像與視差優(yōu)化網(wǎng)絡(luò)中相應(yīng)的層結(jié)構(gòu)所輸出的特征圖的尺寸相同；以及至少將初始視差圖輸入到視差優(yōu)化網(wǎng)絡(luò)，并且將多個圖像中的每一個圖像與相應(yīng)的層結(jié)構(gòu)所輸出的特征圖進行融合，獲取視差優(yōu)化網(wǎng)絡(luò)輸出的優(yōu)化視差圖，初始視差圖為至少基于目標視圖來生成的。

技術(shù)領(lǐng)域

本公開涉及人工智能領(lǐng)域，具體涉及計算機視覺和深度學(xué)習(xí)技術(shù)，具體可用于三維重建場景下，尤其涉及一種視差確定的方法、裝置、電子設(shè)備、計算機可讀存儲介質(zhì)和計算機程序產(chǎn)品。

背景技術(shù)

人工智能是研究使計算機來模擬人的某些思維過程和智能行為(如學(xué)習(xí)、推理、思考、規(guī)劃等)的學(xué)科，既有硬件層面的技術(shù)也有軟件層面的技術(shù)。人工智能硬件技術(shù)一般包括如傳感器、專用人工智能芯片、云計算、分布式存儲、大數(shù)據(jù)處理等技術(shù):人工智能軟件技術(shù)主要包括計算機視覺技術(shù)、語音識別技術(shù)、自然語言處理技術(shù)以及機器學(xué)習(xí)/深度學(xué)習(xí)、大數(shù)據(jù)處理技術(shù)、知識圖譜技術(shù)等幾大方向。

將深度學(xué)習(xí)技術(shù)應(yīng)用于雙目立體匹配具有十分重要的意義。在相關(guān)技術(shù)中，對雙目立體匹配中視差圖的生成以及優(yōu)化仍然有很大的提高空間。

在此部分中描述的方法不一定是之前已經(jīng)設(shè)想到或采用的方法。除非另有指明，否則不應(yīng)假定此部分中描述的任何方法僅因其包括在此部分中就被認為是現(xiàn)有技術(shù)。類似地，除非另有指明，否則此部分中提及的問題不應(yīng)認為在任何現(xiàn)有技術(shù)中已被公認。

發(fā)明內(nèi)容

本公開提供了一種視差確定的方法、裝置、電子設(shè)備、計算機可讀存儲介質(zhì)和計算機程序產(chǎn)品。

根據(jù)本公開的一方面，提供了一種利用視差優(yōu)化網(wǎng)絡(luò)來實現(xiàn)的視差確定方法，視差優(yōu)化網(wǎng)絡(luò)包括多個級聯(lián)的層結(jié)構(gòu)，并且方法包括：獲取目標視圖相應(yīng)的多個圖像，多個圖像中的每一個圖像為通過對目標視圖進行尺寸調(diào)整來獲得的，并且多個圖像中的每一個圖像與視差優(yōu)化網(wǎng)絡(luò)中相應(yīng)的層結(jié)構(gòu)所輸出的特征圖的尺寸相同；至少基于目標視圖生成初始視差圖；以及至少將初始視差圖輸入到視差優(yōu)化網(wǎng)絡(luò)，并且將多個圖像中的每一個圖像與相應(yīng)的層結(jié)構(gòu)所輸出的特征圖進行融合并將融合所得到的圖像輸入到視差優(yōu)化網(wǎng)絡(luò)，獲取視差優(yōu)化網(wǎng)絡(luò)輸出的優(yōu)化視差圖。

根據(jù)本公開的另一方面，提供了一種視差優(yōu)化網(wǎng)絡(luò)的訓(xùn)練方法，視差優(yōu)化網(wǎng)絡(luò)包括多個級聯(lián)的層結(jié)構(gòu)，并且方法包括：獲取樣本視圖相應(yīng)的真實視差圖和多個樣本圖像，多個樣本圖像中的每一個樣本圖像為通過對樣本視圖進行尺寸調(diào)整來獲得的，并且多個樣本圖像中的每一個樣本圖像與視差優(yōu)化網(wǎng)絡(luò)中相應(yīng)的層結(jié)構(gòu)所輸出的特征圖的尺寸相同；至少基于樣本視圖生成初始樣本視差圖；至少將初始樣本視差圖輸入到視差優(yōu)化網(wǎng)絡(luò)，并且將多個樣本圖像中的每一個樣本圖像與相應(yīng)的層結(jié)構(gòu)所輸出的特征圖進行融合并將融合所得到的圖像輸入到視差優(yōu)化網(wǎng)絡(luò)，獲取視差優(yōu)化網(wǎng)絡(luò)輸出的優(yōu)化樣本視差圖；將優(yōu)化樣本視差圖和真實視差圖輸入到判別網(wǎng)絡(luò)，以確定判別概率，判別概率能夠表征優(yōu)化樣本視差圖與真實視差圖之間的差異，真實視差圖具有與優(yōu)化樣本視差圖相同的尺寸；響應(yīng)于判別概率不符合預(yù)設(shè)的判別條件，更新視差優(yōu)化網(wǎng)絡(luò)和所述判別網(wǎng)絡(luò)的參數(shù)；以及迭代上述過程直到判別概率符合所述預(yù)設(shè)的判別條件。

根據(jù)本公開的另一方面，提供了一種利用視差優(yōu)化網(wǎng)絡(luò)來實現(xiàn)的視差確定裝置，視差優(yōu)化網(wǎng)絡(luò)包括多個級聯(lián)的層結(jié)構(gòu)，并且裝置包括：獲取模塊，被配置為獲取目標視圖相應(yīng)的多個圖像，多個圖像中的每一個圖像為通過對目標視圖進行尺寸調(diào)整來獲得的，并且多個圖像中的每一個圖像與視差優(yōu)化網(wǎng)絡(luò)中相應(yīng)的層結(jié)構(gòu)所輸出的特征圖的尺寸相同；生成模塊，被配置為至少基于目標視圖生成初始視差圖；以及優(yōu)化模塊，被配置為至少將初始視差圖輸入到視差優(yōu)化網(wǎng)絡(luò)，并且將多個圖像中的每一個圖像與相應(yīng)的層結(jié)構(gòu)所輸出的特征圖進行融合并將融合所得到的圖像輸入到視差優(yōu)化網(wǎng)絡(luò)，獲取視差優(yōu)化網(wǎng)絡(luò)輸出的優(yōu)化視差圖。