[發(fā)明專利]一種圖像視差的確定方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810276957.7
• 申請日: 2018-03-30
• 公開（公告）號: CN110335228B
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計）人: 張奎;熊江;楊平;謝迪
• 申請（專利權(quán)）人: 杭州?？低晹?shù)字技術(shù)股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/08
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 張聰聰;馬敬

1.一種圖像視差的確定方法，其特征在于，包括：

獲取多張待處理圖像；

將所述多張待處理圖像輸入調(diào)整后的無監(jiān)督神經(jīng)網(wǎng)絡(luò)中；其中，所述無監(jiān)督神經(jīng)網(wǎng)絡(luò)包括特征提取層、特征疊加層、特征編碼層、視差恢復(fù)層；所述無監(jiān)督神經(jīng)網(wǎng)絡(luò)為：利用預(yù)設(shè)損失函數(shù)對多組樣本圖像訓(xùn)練得到的，每組樣本圖像包括多張存在視差的圖像，所述預(yù)設(shè)損失函數(shù)中包含一項或多項誤差參數(shù)；所述調(diào)整后的無監(jiān)督神經(jīng)網(wǎng)絡(luò)的確定方式為：確定預(yù)先訓(xùn)練得到的無監(jiān)督神經(jīng)網(wǎng)絡(luò)輸出的視差中的異常區(qū)域；針對所述異常區(qū)域，設(shè)定新的誤差參數(shù)；將所述新的誤差參數(shù)添加至所述預(yù)設(shè)損失函數(shù)中，得到新的損失函數(shù)；利用所述新的損失函數(shù)、以及所確定的異常區(qū)域，對預(yù)先訓(xùn)練得到的無監(jiān)督神經(jīng)網(wǎng)絡(luò)進行調(diào)整，得到調(diào)整后的無監(jiān)督神經(jīng)網(wǎng)絡(luò)；

利用所述特征提取層，提取所述多張待處理圖像的特征；

利用所述特征疊加層，將所述特征提取層提取到的特征進行疊加，得到疊加后的特征；

利用所述特征編碼層，對所述疊加后的特征進行編碼，得到編碼后的特征；

利用所述視差恢復(fù)層，對所述編碼后的特征進行反卷積運算，得到所述多張待處理圖像的視差。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，每張待處理圖像的特征張量維度為W*H*3，其中，W為待處理圖像的寬度，H為待處理圖像的高度，3表示待處理圖像的顏色通道數(shù)；

所述利用所述特征提取層，提取所述待處理圖像的特征，包括：

針對每張待處理圖像，利用所述特征提取層對該張待處理圖像進行卷積，得到特征張量維度為的特征，其中，F(xiàn)表示所述特征提取層的輸出通道數(shù)，x表示第一預(yù)設(shè)下采樣倍數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述多張待處理圖像中包含N對待處理圖像，所述N為正整數(shù)；所述利用所述特征疊加層，將所述特征提取層提取到的特征進行疊加，得到疊加后的特征，包括：

將每對待處理圖像對應(yīng)的兩份特征張量維度為的特征進行疊加，得到特征張量維度為的疊加后的特征。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用所述特征編碼層，對所述疊加后的特征進行編碼，得到編碼后的特征，包括：

利用所述特征編碼層，對所述特征張量維度為的疊加后的特征進行編碼，得到特征張量維度為的編碼后的特征，其中，所述C表示所述特征編碼層的輸出通道數(shù)，y表示第二預(yù)設(shè)下采樣倍數(shù)，y大于x。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述視差恢復(fù)層包括多個激活二維反卷積層；所述利用所述視差恢復(fù)層，對所述編碼后的特征進行反卷積運算，得到所述多張待處理圖像的視差，包括：

在每個激活二維反卷積層中，利用預(yù)設(shè)激活函數(shù)得到一個尺度下的視差。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述預(yù)設(shè)損失函數(shù)為所述視差恢復(fù)層中得到的多個視差的損失值的和；所述損失值包含以下一項或多項誤差參數(shù)：圖像匹配誤差參數(shù)、視差圖平滑性誤差參數(shù)、視差圖左右一致性誤差參數(shù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，一個尺度下的視差的損失值＝圖像匹配誤差參數(shù)*第一權(quán)重+視差圖平滑性誤差*第二權(quán)重+視差圖左右一致性誤差參數(shù)*第三權(quán)重，所述第一權(quán)重、所述第一權(quán)重、所述第三權(quán)重為預(yù)先設(shè)定的。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定所得到的無監(jiān)督神經(jīng)網(wǎng)絡(luò)輸出的視差中的異常區(qū)域，包括：

確定所得到的無監(jiān)督神經(jīng)網(wǎng)絡(luò)輸出的視差中的異常區(qū)域、以及與所述異常區(qū)域位于同一平面的對照區(qū)域；

所述針對所述異常區(qū)域，設(shè)定新的誤差參數(shù)，包括：

計算所述對照區(qū)域與所述異常區(qū)域的平面距離，作為新的誤差參數(shù)。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取多張待處理圖像，包括：獲取多目相機采集的多張圖像，作為待處理圖像；

在所述得到所述多張待處理圖像的視差之后，還包括：

根據(jù)所得到的視差，計算所述多目相機的深度信息。