[發(fā)明專利]一種基于雙向光流的端到端無監(jiān)督學(xué)習(xí)方法

在審

• 申請?zhí)枺?/td>: 201810121000.5
• 申請日: 2018-02-07
• 公開（公告）號: CN108320020A
• 公開（公告）日: 2018-07-24
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號: G06N3/067
• 分類號: G06N3/067;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于雙向光流的端到端無監(jiān)督學(xué)習(xí)方法，其特征在于，主要包括基于光流的無監(jiān)督學(xué)習(xí)(一)；光流網(wǎng)絡(luò)架構(gòu)和計(jì)算(二)。

2.基于權(quán)利要求書1所述的基于光流的無監(jiān)督學(xué)習(xí)(一)，其特征在于，基于光流的無監(jiān)督學(xué)習(xí)包括無監(jiān)督損失和后向扭曲，具體為以下三個方面：

(1)基于雙向(即前向和后向)光流估計(jì)來設(shè)計(jì)對稱，遮擋感知損失；

(2)使用全面的無監(jiān)督損失來訓(xùn)練光流網(wǎng)絡(luò)-C來估計(jì)雙向光流；

(3)通過堆疊多個光流網(wǎng)絡(luò)來使用迭代改進(jìn)；

可選地，還可以使用監(jiān)督損失來在無監(jiān)督訓(xùn)練之后對稀疏標(biāo)定真實(shí)數(shù)據(jù)上的網(wǎng)絡(luò)進(jìn)行微調(diào)。

3.基于權(quán)利要求書2所述的無監(jiān)督損失，其特征在于，設(shè)為兩個時(shí)間連續(xù)的幀；目標(biāo)是估計(jì)從I₁到I₂的光流w^f＝(u^f,v^f)^T；由于遮擋檢測還需要反向光流w^b＝(v^b,v^b)^T，所以通過使所有的損耗項(xiàng)對稱(即計(jì)算兩個光流方向)來聯(lián)合估計(jì)雙向光流；在這里，將這個想法從基于超像素的設(shè)置擴(kuò)展到一般流場，并將其用作無監(jiān)督學(xué)習(xí)中的損失函數(shù)；

對于非遮擋的像素，正向光流應(yīng)該是第二幀中相應(yīng)像素處的逆向光流的方向；當(dāng)這兩個光流之間不匹配時(shí)，將像素標(biāo)記為遮擋；因此，對于正向遮擋，每當(dāng)約束(如下式所示)不符合時(shí)，將遮擋標(biāo)志定義為1，否則為0；

|w^f(x)+w^b(x+w^f(x))|²<α₁(|w^f(x)|²+|w^b(x+w^f(x))|²)+α₂ (1)

對于反向遮擋，用相同的方式定義交換w^f和w^b；在所有的實(shí)驗(yàn)中設(shè)定了α₁＝0.01，α₂＝0.5；為了探索感知遮擋的損失變量，只需要對所有x∈P使用

4.基于權(quán)利要求書3所述的感知遮擋，其特征在于，感知遮擋的數(shù)據(jù)損失定義為：

其中，f_D(I₁(x),I₂(x′))測量兩個假定對應(yīng)的像素x和x′之間的光度差，ρ(x)＝(x²+∈²)^γ是魯棒的廣義的沙博尼耶罰函數(shù)，γ＝0.45；為所有被遮擋的像素添加一個常數(shù)懲罰λ_p，從而避免所有遮擋像素的平凡解，并且懲罰所有非遮擋像素的光度差；亮度恒常性約束f_D(I₁(x),I₂(x′))＝I₁(x)-I₂(x′)用于測量光度差；由于亮度恒常性不是在現(xiàn)實(shí)情況下常見的光照不變，因此改為使用三元Census變換；Census變換可以補(bǔ)償加法和乘法照明變化以及伽瑪變化，從而提供了一個更真實(shí)的圖像恒定假設(shè)。