[發明專利]基于幾何關系的光流無監督損失計算方法

有效

• 申請號: 202010093052.3
• 申請日: 2020-02-14
• 公開（公告）號: CN111325774B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王賀升;張弛;王光明
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/269
• 分類號: G06T7/269
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種基于幾何關系的光流無監督損失計算方法，其特征在于，包括：

步驟A：進行光流不相交損失計算；

步驟B：進行非遮擋區域光流不遮擋損失計算；

所述步驟A包括：

步驟A1：對于連續兩幀圖像，利用光流網絡得到第一幀到第二幀的前向光流與第二幀到第一幀的后向光流，將兩者不一致區域判定為遮擋區域；

步驟A2：以3×3為滑動核尺寸，1為滑動步長，對尺寸為H×W的第一幀圖像，得到(H-2)×(W-2)個尺寸為3×3的基本單位；

其中，H表示：圖像的高度為H個像素；W表示：圖像的寬度為W個像素；

步驟A3：利用并行計算提高計算效率，將整張圖像分為若干基本單位，并在每個基本單位內，依次計算中間像素點和與之相鄰的8個像素點間的光流不相交損失；

步驟A4：對所有基本單位損失值求平均，得到整張圖片的光流不相交損失；

所述步驟A3包括：

步驟A3.1：在光流移動中，非遮擋區域第一幀中的像素點像素點和與之對應的第二幀中的像素點像素點第一幀中兩像素點到第二幀對應位置時，不會發生遮擋，對于遮擋情況，計算光流不相交損失進行懲罰，其中，p_mid對應基本單位的中間像素點，p_i對應基本單位內與p_mid相鄰的其他像素點，i＝1,2,…8；

步驟A3.2：若光流與光流未發生交叉，則像素點間的光流不相交損失為0；否則，判定像素點間發生遮擋，計算光流不相交損失；

所述步驟A3.2包括：

步驟A3.2.1：在第一幀圖像內，以中間像素點與周圍像素點的差異程度，計算光流不相交損失權重，根據如下公式計算每個基本單位中，中間像素點p_mid與相鄰周邊8個像素點p_i間的光流不相交損失權重w_i：

其中，p_mid為基本單位的中間像素點,p_i對應基本單位內與p_mid相鄰的其他像素點，i＝1,2,…8，j∈{R,G,B}，用p_i,、p_mid,表示p_i、p_mid像素點對應的顏色空間RGB三通道值；i表示：與中間像素點相鄰的像素點編號；j表示：RGB顏色色域的通道編號；

步驟A3.2.2：獲得光流相交系數μ_i與λ_i，計算公式如下：

x_mid+λ_iΔx_mid＝x_i+μ_iΔx_i

y_mid+λ_iΔy_mid＝y_i+μ_iΔy_i

其中，(x_mid，y_mid)為第一幀內中間像素點坐標，(x_i，y_i)為第一幀內相鄰像素點坐標，Δx、Δy為像素點由第一幀流向第二幀在坐標系下的位移，求得：

Δ＝-Δx_midΔy_i+Δx_iΔy_mid

Δ表示：中間變量；

步驟A3.2.3：計算一個基本單位內，中間像素點相對于所有8個相鄰的周圍像素點的光流不相交損失E_unit，公式如下：

其中，i＝1，2，...，8，表示在基本單位內與中間像素點p_mid相鄰的8個像素，w_i為p_i的光流不相交損失權重；

E_i表示：單個像素的不相交損失值；

在一個基本單位內計算得到E_unit，共提取(H-2)×(W-2)個基本單位，記E_k表示第k個單位內所求光流不相交損失，k＝1，2，...，(H-2)×(W-2)；

所述步驟A4包括：

對第一幀圖片提取的(H-2)×(W-2)個基本單位求得的光流不相交損失取均值，求整張圖片的光流不相交損失，公式如下：

其中，E_k表示第k個單位內所求光流不相交損失；

所述步驟B包括：

步驟B1：對連續兩幀圖像，利用光流網絡得到第一幀到第二幀的前向光流與第二幀到第一幀的后向光流，將兩者不一致區域判斷為遮擋區域；

步驟B2：以4×4為滑動核尺寸，1為滑動步長，對尺寸為H×W的第一幀圖像進行采樣，得到尺寸為4×4的(H-3)×(W-3)個基本單位；

步驟B3：利用并行計算提高計算效率，將整張圖像分為若干基本單位，并在每個基本單位內，依次計算外圍12個像素點與中間4個像素點的光流不遮擋損失；

所述步驟B3包括：

步驟B3.1：判斷在第二幀中，周邊像素點是否流入中間4個像素點組成的四邊形內部；

步驟B3.2：對于外圍像素點P_i，根據中間像素點組成的四邊形ABCD與P_i與在空間上的幾何關系，定義像素點P_i的光流不遮擋損失E_i′：

其中，P_i為基本單位中外圍的像素點，i＝1，2，...，12；d_i為P_i到四邊形各邊距離的最小值；

步驟B3.3：求一個基本單位內12個外圍像素點的光流不遮擋損失E_unit′：

在一個基本單位內計算得到E_unit′，共提取(H-3)×(W-3)個基本單位，記E_k′表示第k個單位內所求光流不遮擋損失，k＝1，2，...，(H-3)×(W-3)；

步驟B4：對第一幀圖片提取的(H-3)×(W-3)個基本單位求得的光流不遮擋損失取均值，求整張圖片的光流不遮擋損失，公式如下：

其中，H表示：圖像的高度為H個像素；W表示：圖像的寬度為W個像素。

2.根據權利要求1所述的基于幾何關系的光流無監督損失計算方法，其特征在于，所述步驟B3.1包括：

步驟B3.1.1：定義一個基本單位內，中間4個像素點Pi與外圍12個像素點P_i，其中j∈{A，B，C，D}，i＝1，2，...，12，第一幀采樣獲得基本單位的中間4個像素點P_AP_BP_CP_D在第二幀中構成四邊形ABCD，由對角線分割為兩個三角形，根據選擇不同對角線AC或BD進行分割，分為各含兩個三角形的兩種情況ΔABC+ΔACD與ΔABD+ΔBCD，當且僅當以任一種分割方式，外圍像素點均流入某三角形內時，判定發生遮擋；

步驟B3.1.2：對三角形ΔABC與點P_i，當BA×BP、AC×AP、CB×CP為同一方向時，判斷P_i在ΔABC內；同理可推斷P_i與ΔACD、ΔABD、ΔBCD的空間關系，計算邏輯表達式如下：

x_BA表示：三角形的BA邊向量的x坐標；

y_BA表示：三角形的BA邊向量的y坐標；

滿足(Γ_ΔABC∨Γ_ΔACD)∧(Γ_ΔABD∨Γ_ΔBCD)＝1時，判定P_i在四邊形ABCD內。