[發(fā)明專利]一種圖像視差的確定方法、裝置及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810276957.7
• 申請日: 2018-03-30
• 公開（公告）號: CN110335228B
• 公開（公告）日: 2021-06-25
• 發(fā)明（設計）人: 張奎;熊江;楊平;謝迪
• 申請（專利權）人: 杭州?？低晹?shù)字技術股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/08
• 代理公司: 北京柏杉松知識產(chǎn)權代理事務所(普通合伙) 11413
• 代理人: 張聰聰;馬敬

本發(fā)明實施例提供了一種圖像視差的確定方法、裝置及系統(tǒng)，本實施例中利用無監(jiān)督神經(jīng)網(wǎng)絡，確定多張圖像間的視差，無監(jiān)督神經(jīng)網(wǎng)絡利用損失函數(shù)進行訓練，不需要真實視差作為監(jiān)督，損失函數(shù)中包含一項或多項誤差參數(shù)，訓練過程中，誤差參數(shù)逐漸變小，也就是確定視差的準確度變高，因此，應用本實施例確定的視差準確度較高。

技術領域

本發(fā)明涉及計算機視覺技術領域，特別是涉及一種圖像視差的確定方法、裝置及系統(tǒng)。

背景技術

多目相機，可以同時采集同一場景的多張圖像，增大了視角范圍。多目相機中的雙目相機還可以模擬人眼的雙目視覺，提供較佳的視覺效果。通常情況下，需要計算多目相機所采集的多張圖像之間的視差。

計算視差的方案一般包括：利用真實視差作為監(jiān)督信息，以多目相機采集的多張圖像作為輸入，對神經(jīng)網(wǎng)絡進行訓練，利用訓練完成的神經(jīng)網(wǎng)絡，計算多目相機所采集的多張圖像之間的視差。這種方案中，需要預先得到真實視差，但是獲取真實視差的難度較大，一般獲取到的真實視差準確度較低，導致計算得到的視差準確度較低。

發(fā)明內(nèi)容

本發(fā)明實施例的目的在于提供一種圖像視差的確定方法、裝置及系統(tǒng)，以提高視差準確度。

為達到上述目的，本發(fā)明實施例提供了一種圖像視差的確定方法，包括：

獲取多張待處理圖像；

將所述多張待處理圖像輸入預先訓練得到的無監(jiān)督神經(jīng)網(wǎng)絡中；其中，所述無監(jiān)督神經(jīng)網(wǎng)絡包括特征提取層、特征疊加層、特征編碼層、視差恢復層；所述無監(jiān)督神經(jīng)網(wǎng)絡為：利用預設損失函數(shù)對多組樣本圖像訓練得到的，每組樣本圖像包括多張存在視差的圖像，所述預設損失函數(shù)中包含一項或多項誤差參數(shù)；

利用所述特征提取層，提取所述多張待處理圖像的特征；

利用所述特征疊加層，將所述特征提取層提取到的特征進行疊加，得到疊加后的特征；

利用所述特征編碼層，對所述疊加后的特征進行編碼，得到編碼后的特征；

利用所述視差恢復層，對所述編碼后的特征進行反卷積運算，得到所述多張待處理圖像的視差。

可選的，每張待處理圖像的特征張量維度為W*H*3，其中，W為待處理圖像的寬度，H為待處理圖像的高度，3表示待處理圖像的顏色通道數(shù)；

所述利用所述特征提取層，提取所述待處理圖像的特征，可以包括：

針對每張待處理圖像，利用所述特征提取層對該張待處理圖像進行卷積，得到特征張量維度為的特征，其中，F(xiàn)表示所述特征提取層的輸出通道數(shù)，x表示第一預設下采樣倍數(shù)。

可選的，所述多張待處理圖像中包含N對待處理圖像，所述N為正整數(shù)；所述利用所述特征疊加層，將所述特征提取層提取到的特征進行疊加，得到疊加后的特征，包括：

將每對待處理圖像對應的兩份特征張量維度為的特征進行疊加，得到特征張量維度為的疊加后的特征。

可選的，所述利用所述特征編碼層，對所述疊加后的特征進行編碼，得到編碼后的特征，可以包括：

利用所述特征編碼層，對所述特征張量維度為的疊加后的特征進行編碼，得到特征張量維度為的編碼后的特征，其中，所述C表示所述特征編碼層的輸出通道數(shù)，y表示第二預設下采樣倍數(shù)，y大于x。

可選的，所述視差恢復層包括多個激活二維反卷積層；所述利用所述視差恢復層，對所述編碼后的特征進行反卷積運算，得到所述多張待處理圖像的視差，可以包括：

在每個激活二維反卷積層中，利用預設激活函數(shù)得到一個尺度下的視差。