[發(fā)明專利]光流計算方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201910692802.6
• 申請日: 2019-07-30
• 公開（公告）號: CN110378936B
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計）人: 喻冬東;王長虎
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 北京竹辰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11706
• 代理人: 陳龍

1.一種光流計算方法，其特征在于，包括：

將目標(biāo)視頻中時間區(qū)間為[t-N，t+N]的第一圖像集合輸入到第一預(yù)測網(wǎng)絡(luò)中，得到第一光流信息，N為小于t的數(shù)值；

基于所述第一光流信息，利用與所述第一預(yù)測網(wǎng)絡(luò)串行的第二預(yù)測網(wǎng)絡(luò)，對目標(biāo)視頻中時間區(qū)間為[t-M，t+M]的第二圖像集合進(jìn)行光流計算，得到第二光流信息，M為小于N的數(shù)值，包括：在所述第二預(yù)測網(wǎng)絡(luò)中設(shè)置多個卷積層；基于所述多個卷積層，對所述第二圖像集合進(jìn)行圖像特征提取；基于提取到的第二圖像集合的特征，確定所述第二圖像集合的光流信息，分別獲取表示所述第一光流信息和所述第二圖像集合的第一特征矩陣和第二特征矩陣；對所述第一特征矩陣和所述第二特征矩陣進(jìn)行歸一化處理，得到第三特征矩陣；將所述第三特征矩陣作為所述第二預(yù)測網(wǎng)絡(luò)的輸入，對所述第二圖像集合的光流信息進(jìn)行預(yù)測；

通過調(diào)整M、N和t的值，使所述目標(biāo)視頻中的所有視頻幀均經(jīng)過所述第一預(yù)測網(wǎng)絡(luò)和所述第二預(yù)測網(wǎng)絡(luò)進(jìn)行光流計算；

在所述視頻幀均經(jīng)過所述第一預(yù)測網(wǎng)絡(luò)和所述第二預(yù)測網(wǎng)絡(luò)進(jìn)行光流計算之后，基于所述第二預(yù)測網(wǎng)絡(luò)得到的第二光流信息，確定所述目標(biāo)視頻的光流值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第二預(yù)測網(wǎng)絡(luò)得到的第二光流信息，確定所述目標(biāo)視頻的光流值，包括：

基于所述第二光流信息，利用與所述第二預(yù)測網(wǎng)絡(luò)串行的第三預(yù)測網(wǎng)絡(luò)，對目標(biāo)視頻中時間區(qū)間為[t-L，t+L]的第三圖像集合進(jìn)行光流計算，得到第三光流信息，L為小于M的值；

基于所述第三光流信息，確定所述目標(biāo)視頻的光流值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述視頻幀均經(jīng)過所述第一預(yù)測網(wǎng)絡(luò)和所述第二預(yù)測網(wǎng)絡(luò)進(jìn)行光流計算之后，基于所述第二預(yù)測網(wǎng)絡(luò)得到的第二光流信息，確定所述目標(biāo)視頻的光流值之后，所述方法包括：

對所述第一預(yù)測網(wǎng)絡(luò)和所述第二預(yù)測網(wǎng)絡(luò)設(shè)置不同的損失函數(shù)；

基于所述損失函數(shù)，對所述第一預(yù)測網(wǎng)絡(luò)和所述第二預(yù)測網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

利用訓(xùn)練后的第一預(yù)測網(wǎng)絡(luò)和第二預(yù)測網(wǎng)絡(luò)，對待預(yù)測視頻的光流信息進(jìn)行計算。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將目標(biāo)視頻中時間區(qū)間為[t-N，t+N]的第一圖像集合輸入到第一預(yù)測網(wǎng)絡(luò)中，得到第一光流信息，包括：

在所述第一預(yù)測網(wǎng)絡(luò)中設(shè)置圖像關(guān)聯(lián)層；

基于所述圖像關(guān)聯(lián)層，提取所述第一圖像集合的圖像特征；

通過空間卷積運算的方式，確定提取到的所述第一圖像集合的圖像特征的相關(guān)性；

基于所述第一圖像集合的圖像特征的相關(guān)性，確定是否計算所述第一光流信息。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將目標(biāo)視頻中時間區(qū)間為[t-N，t+N]的第一圖像集合輸入到第一預(yù)測網(wǎng)絡(luò)中，得到第一光流信息，包括：

在所述第一預(yù)測網(wǎng)絡(luò)中設(shè)置多個反卷積ReLU層；

針對每個反卷積ReLU層，輸入反卷積ReLU層前一層的輸出的同時，還輸入反卷積ReLU層前一層預(yù)測的低尺度的光流和對應(yīng)模塊中的特征層。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述多個卷積層，對所述第二圖像進(jìn)行圖像特征提取，包括：

將多個卷積層通過串聯(lián)的方式進(jìn)行設(shè)置；

在串聯(lián)的所述多個卷積層中間設(shè)置采樣層，所述采樣層的數(shù)目比所述卷積層的數(shù)目少一個；

將依次串行設(shè)置的卷積層和采樣層計算得到的最終結(jié)果，作為所述第二圖像集合的圖像特征。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述第三特征矩陣作為所述第二預(yù)測網(wǎng)絡(luò)的輸入，對所述第二圖像集合的光流信息進(jìn)行預(yù)測，包括：

利用所述第二預(yù)測網(wǎng)絡(luò)中串行設(shè)置的卷積層、批量標(biāo)準(zhǔn)化層和ReLu層，對所述第三特征矩陣進(jìn)行計算，得到光流計算結(jié)果；

將所述光流計算結(jié)果作為所述第二預(yù)測網(wǎng)絡(luò)預(yù)測得到的第二光流信息。