[發(fā)明專利]用于訓(xùn)練圖像處理網(wǎng)絡(luò)和圖像處理的方法和裝置

在審

• 申請?zhí)枺?/td>: 202110381515.0
• 申請日: 2021-04-09
• 公開（公告）號: CN112862877A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計）人: 葉曉青;譚嘯;孫昊
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06N3/08;G06K9/62
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于訓(xùn)練圖像處理網(wǎng)絡(luò)的方法，包括：

獲取根據(jù)預(yù)設(shè)損失函數(shù)訓(xùn)練的雙目深度學(xué)習(xí)網(wǎng)絡(luò)和樣本集，其中，所述樣本集中的樣本包括校正好的左圖和右圖；

從所述樣本集中選擇第一樣本，執(zhí)行如下第一訓(xùn)練步驟：將選取的第一樣本的左圖和右圖輸入所述雙目深度學(xué)習(xí)網(wǎng)絡(luò)，輸出第一視差圖；將所述第一視差圖轉(zhuǎn)換成第一雙目預(yù)測深度圖；計算所述第一雙目預(yù)測深度圖的可靠區(qū)域；將選取的第一樣本的左圖或右圖輸入單目深度估計網(wǎng)絡(luò)，得到第一單目預(yù)測深度圖；將所述可靠區(qū)域的深度值作為所述單目深度估計網(wǎng)絡(luò)的偽監(jiān)督信息，計算所述第一單目預(yù)測深度圖中與所述可靠區(qū)域?qū)?yīng)的區(qū)域的深度值的第一損失值；若所述第一損失值小于預(yù)定第一閾值，則確定出所述單目深度估計網(wǎng)絡(luò)訓(xùn)練完成。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：

若所述第一損失值不小于預(yù)定第一閾值，則調(diào)整所述單目深度估計網(wǎng)絡(luò)的相關(guān)參數(shù)，以及從所述樣本集中重新選取第一樣本，使用調(diào)整后的單目深度估計網(wǎng)絡(luò)，繼續(xù)執(zhí)行所述第一訓(xùn)練步驟。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：

從所述樣本集中選擇第二樣本，執(zhí)行如下第二訓(xùn)練步驟：獲取選取的第二樣本的第二雙目預(yù)測深度圖，并確定出所述第二雙目預(yù)測深度圖的不可靠區(qū)域；將選取的第二樣本的左圖或右圖輸入訓(xùn)練完成的單目深度估計網(wǎng)絡(luò)，得到第二單目預(yù)測深度圖；將所述不可靠區(qū)域的深度值作為雙目深度估計網(wǎng)絡(luò)的偽監(jiān)督信息，計算所述第二雙目預(yù)測深度圖中與所述不可靠區(qū)域?qū)?yīng)的區(qū)域的深度值的雙目損失值；根據(jù)所述預(yù)設(shè)損失函數(shù)計算基礎(chǔ)損失值；將所述雙目損失值和所述基礎(chǔ)損失值之和確定為第二損失值；若所述第二損失值小于預(yù)定第二閾值，則確定出所述雙目深度估計網(wǎng)絡(luò)訓(xùn)練完成。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述方法還包括：

若所述第二損失值不小于預(yù)定第二閾值，則調(diào)整所述雙目深度估計網(wǎng)絡(luò)的相關(guān)參數(shù)，以及從所述樣本集中重新選取第二樣本，使用調(diào)整后的雙目深度估計網(wǎng)絡(luò)，繼續(xù)執(zhí)行所述第二訓(xùn)練步驟。

5.根據(jù)權(quán)利要求3所述的方法，其中，所述獲取選取的第二樣本的第二雙目預(yù)測深度圖，并確定出所述第二雙目預(yù)測深度圖的不可靠區(qū)域，包括：

若所述第二樣本屬于第一樣本，則將所述第一雙目預(yù)測深度圖確定為第二雙目預(yù)測深度圖，并將所述第一雙目預(yù)測深度圖的可靠區(qū)域確定為第二雙目預(yù)測深度圖的可靠區(qū)域，將所述第二雙目預(yù)測深度圖中除所述可靠區(qū)域之外的區(qū)域確定為第二雙目預(yù)測深度圖的不可靠區(qū)域。

6.根據(jù)權(quán)利要求3所述的方法，其中，所述獲取選取的第二樣本的第二雙目預(yù)測深度圖，并確定出所述第二雙目預(yù)測深度圖的不可靠區(qū)域，包括：

若所述第二樣本不屬于第一樣本，則將選取的第二樣本的左圖和右圖輸入所述雙目深度學(xué)習(xí)網(wǎng)絡(luò)，輸出第二視差圖；將所述第二視差圖轉(zhuǎn)換成第二雙目預(yù)測深度圖；計算所述第二雙目預(yù)測深度圖的可靠區(qū)域；將所述第二雙目預(yù)測深度圖中除所述可靠區(qū)域之外的區(qū)域確定為第二雙目預(yù)測深度圖的不可靠區(qū)域。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述獲取根據(jù)預(yù)設(shè)損失函數(shù)訓(xùn)練的雙目深度學(xué)習(xí)網(wǎng)絡(luò)，包括：

獲取樣本集，其中，所述樣本集中的樣本包括校正好的左圖和右圖；

從所述樣本集中選擇第三樣本，執(zhí)行如下第三訓(xùn)練步驟：將選取的第三樣本的左圖和右圖輸入初始雙目深度學(xué)習(xí)網(wǎng)絡(luò)，輸出第三視差圖；根據(jù)所述第三視差圖對原始的右圖進(jìn)行重建，得到重建右圖；計算所述重建右圖與原始的右圖之間的光度誤差作為基礎(chǔ)損失值；若所述基礎(chǔ)損失值小于預(yù)定第三閾值，則確定出所述初始雙目深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練完成，得到雙目深度學(xué)習(xí)網(wǎng)絡(luò)。

8.根據(jù)權(quán)利要求7所述的方法，其中，所述方法還包括：

若所述基礎(chǔ)損失值不小于預(yù)定第三閾值，則調(diào)整所述初始雙目深度學(xué)習(xí)網(wǎng)絡(luò)的相關(guān)參數(shù)，以及從所述樣本集中重新選取第三樣本，使用調(diào)整后的初始雙目深度學(xué)習(xí)網(wǎng)絡(luò)，繼續(xù)執(zhí)行所述第三訓(xùn)練步驟。