[發明專利]無監督的多尺度視差/光流融合

在審

• 申請號: 202011259710.8
• 申請日: 2020-11-12
• 公開（公告）號: CN114494087A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 楊志侃
• 申請（專利權）人: 安霸國際有限合伙企業
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04;G06K9/62;G06V10/774
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 劉瑜

一種用于實現無監督的多尺度視差/光流融合的裝置包括接口和處理器。接口可以被配置為從捕獲設備接收圖像。處理器可以被配置為：(i)從圖像中提取特征；(ii)響應于所提取的特征來生成融合的視差圖；(iii)通過基于(a)融合的視差圖以及(b)第一參數對圖像的第一子集執行扭曲來生成再生圖像；(iv)執行對樣本圖像與圖像的第一子集中的一個圖像的比較；(v)基于第二參數來執行對樣本圖像的分類；以及(vi)響應于分類是否正確來更新第一參數和第二參數，其中，(a)分類包括指示樣本圖像是圖像的第二子集中的一個圖像還是再生圖像中的一個再生圖像；并且(b)再生圖像被用作訓練數據集。

技術領域

本發明總體上涉及傳感器融合，并且更具體地涉及用于實現無監督的多尺度視差(disparity)/光流融合的方法和/或裝置。

背景技術

在雙相機立體重建中，視差/光流圖的準確度和密度對于高級算法而言至關重要。僅在高分辨率圖像中計算視差時，該計算可能會受到噪聲的影響，并且無法獲得密集的視差/光流圖。僅在低分辨率圖像中計算視差時，獲得較為密集但準確度較低的視差。典型地，在高分辨率圖像和低分辨率圖像兩者中計算視差，并將結果合并在一起。然而，手動設計合適的融合算法具有挑戰性。常規卷積神經網絡(CNN)要求地面真值視差來訓練網絡。然而，用于訓練數據集的這樣的地面真值視差并不容易收集。

期望實現無監督的多尺度視差/光流融合。

發明內容

本發明涵蓋涉及一種包括接口和處理器的裝置的方面。接口可以被配置為從捕獲設備接收圖像。處理器可以被配置為：(i)從圖像中提取特征；(ii)響應于所提取的特征來生成融合的視差圖；(iii)通過基于(a)融合的視差圖以及(b)第一參數對圖像的第一子集執行扭曲(warp)來生成再生圖像；(iv)執行對樣本圖像與圖像的第一子集中的一個圖像的比較；(v)基于第二參數來執行對樣本圖像的分類；以及(vi)響應于分類是否正確來更新第一參數和第二參數，其中，(a)分類包括指示樣本圖像是圖像的第二子集中的一個圖像還是再生圖像中的一個再生圖像；并且(b)再生圖像被用作訓練數據集。

在上面描述的裝置方面的一些實施例中，(i)捕獲設備包括被配置作為立體相機的第一相機和第二相機；(ii)圖像的第一子集可以由第一相機捕獲；以及(iii)圖像的第二子集可以由第二相機捕獲。在實現立體相機的實施例中，(i)圖像的第一子集包括左圖像；(ii)圖像的第二子集包括右圖像；以及(iii)訓練數據集包括用于視差計算的數據。

在上面描述的裝置方面的一些實施例中，(i)圖像的第一子集包括在圖像的序列中的在較早時間被捕獲的圖像；(ii)圖像的第二子集包括在圖像的序列中的、在與圖像的第一子集相比較晚的時間被捕獲的圖像；以及(iii)訓練數據集包括光流信息。

在上面描述的裝置方面的一些實施例中，樣本圖像是從圖像的第二子集或再生圖像中被隨機選擇的。在其中樣本圖像被隨機選擇的一些實施例中，(a)更新第一參數以調整再生圖像，從而降低樣本圖像的分類為正確的概率；以及(b)更新第二參數以增加樣本圖像的分類為正確的概率。在其中樣本圖像被隨機選擇的一些實施例中，當概率大于閾值量時，再生圖像被用作訓練數據集。在其中在概率大于閾值量時再生圖像被用作訓練數據集的一些實施例中，閾值量可以是大約50％。