[發明專利]基于幾何關系的光流無監督損失計算方法

有效

• 申請號: 202010093052.3
• 申請日: 2020-02-14
• 公開（公告）號: CN111325774B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王賀升;張弛;王光明
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/269
• 分類號: G06T7/269
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

本發明提供了一種基于幾何關系的光流無監督損失計算方法，包括：步驟A：進行光流不相交損失計算；步驟B：進行非遮擋區域光流不遮擋損失計算。本發明利用基于幾何約束關系的光流無監督損失計算方法，解決了光流訓練中缺乏標注數據集的問題，減少了人工標注數據的成本，能實現較高的準確性，有利于實際應用。

技術領域

本發明涉及計算機視覺技術領域，具體地，涉及一種基于幾何關系的光流無監督損失計算方法。

背景技術

光流法是目前主流的運動圖像分析方法，光流是計算機視覺領域的重要研究部分：被觀察物體的三維速度矢量經投影在成像面，構成二維速度矢量，不僅包含被觀察物體的運動信息，還有景物的三維結構信息。通過研究光流，可以在目標識別、場景分割、機器人導航等實現應用，前景廣泛。

隨著機器學習技術的發展，利用機器學習對光流估計，取得了較好的成果。對光流的無監督學習是一個重要的研究方向，其成果廣泛地應用于計算機視覺領域：如在自動駕駛技術中，利用對光流的無監督學習訓練，對行人行為和車輛行為進行屬性分析，實現對場景的理解與決策。

在光流任務中，相比監督學習，無監督學習有以下優勢：對于光流數據，若采用監督學習，其訓練數據需要人類的手工篩選與標注，不僅難度大、成本高，數據的準確性與可用性也較低。相比之下，無監督學習可以節約人工進行標注的成本，利用計算機在巨大的樣本中篩選部分有代表性的樣本進行訓練，是研究光流任務更好的選擇。

損失函數是用于表示某隨機事件的損失或風險的函數。損失函數越科學合理，對模型的指導也越客觀準確，有利于我們進一步優化模型。對于光流研究，采用無監督學習方法，損失函數的選擇是最為重要的一環：損失函數對學習誤差進行懲罰，決定下一輪訓練的方向，直接影響到最終的模型學習成果。

本發明提出了一種基于幾何關系的光流無監督損失計算方法：對于連續兩幀圖像，非遮擋區域中的像素滿足幾何約束關系：光流不相交與光流不遮擋。對于不滿足幾何約束的像素點，本發明定義了光流不相交損失和光流不遮擋損失進行懲罰，對模型訓練起到指導作用。兩種損失基于無監督學習方法，無需有標注的數據集樣本，并實現了較高的準確性。

光流：光流為觀察者和場景間的相對運動而引起圖像像素點的表觀運動，利用相鄰幀圖像中像素點的相關性，推測出第一幀圖像與第二幀圖像間像素級別的對應關系，從而得到兩幀間物體的運動信息。

無監督學習：是三類主流機器學習方法之一，可以用沒有預先標注的數據集，利用計算機在巨大的樣本中篩選部分有代表性的樣本進行訓練，能夠解決對數據集進行人工標注成本過高、標注精度不足的難題。

損失函數：在數學優化和決策理論中，損失函數是將一個或多個變量的一個或多個事件映射到真值上，用于表示事件的損失或風險。在機器學習模型訓練中，通過降低損失的方法實現優化與決策。

專利文獻CN110490928A(申請號：201910603891.2)公開了一種基于深度神經網絡的相機姿態估計方法，步驟如下：1)構建相機姿態估計網絡；2)構建無監督訓練方案，利用估計的深度圖、幀間相對位姿及光流從輸入的前后幀圖像中分別重建出相應的圖像，利用輸入圖像和重建圖像之間的光度誤差構建網絡的損失函數；3)位姿估計模塊與光流估計模塊共享特征提取部分，加強特征對于幀間的幾何聯系；4)輸入待訓練單視點視頻，輸出對應幀間相對位姿，通過最優化手段降低損失函數來訓練模型，以至網絡達到收斂。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于幾何關系的光流無監督損失計算方法。

如圖1，根據本發明提供的基于幾何關系的光流無監督損失計算方法，包括：

步驟A：進行光流不相交損失計算；

步驟B：進行非遮擋區域光流不遮擋損失計算。

優選地，所述步驟A包括：