[發(fā)明專利]光流估計方法、計算機程序產(chǎn)品、存儲介質(zhì)及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202111164952.3
• 申請日: 2021-09-30
• 公開（公告）號: CN114119678A
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計）人: 李海鵬;劉帥成;李有為;葉年進(jìn);程深
• 申請（專利權(quán)）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06V20/40;G06V10/147;G06V10/80;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 唐正瑜

1.一種光流估計方法，其特征在于，包括：

獲取第一圖像、第二圖像、第一陀螺儀數(shù)據(jù)和第二陀螺儀數(shù)據(jù)；其中，所述第一圖像和所述第二圖像為同一攝像頭在不同時刻采集的圖像，所述第一陀螺儀數(shù)據(jù)為所述第一圖像采集期間陀螺儀采集的數(shù)據(jù)，所述第二陀螺儀數(shù)據(jù)為所述第二圖像采集期間所述陀螺儀采集的數(shù)據(jù)；

根據(jù)所述第一陀螺儀數(shù)據(jù)和所述第二陀螺儀數(shù)據(jù)計算陀螺域，所述陀螺域為所述第一圖像和所述第二圖像之間的二維運動場；

根據(jù)所述第一圖像和所述第二圖像估計二者之間的臨時光流，并將所述臨時光流和所述陀螺域進(jìn)行融合，得到所述第一圖像和所述第二圖像之間的光流。

2.根據(jù)權(quán)利要求1所述的光流估計方法，其特征在于，所述第一陀螺儀數(shù)據(jù)為所述第一圖像曝光期間陀螺儀采集的數(shù)據(jù)，所述第二陀螺儀數(shù)據(jù)為所述第二圖像曝光期間陀螺儀采集的數(shù)據(jù)；其中，所述攝像頭采集圖像包括曝光和后處理兩個階段。

3.根據(jù)權(quán)利要求1或2所述的光流估計方法，其特征在于，所述根據(jù)所述第一陀螺儀數(shù)據(jù)和所述第二陀螺儀數(shù)據(jù)計算陀螺域，包括：

根據(jù)所述第一陀螺儀數(shù)據(jù)和所述第二陀螺儀數(shù)據(jù)計算所述第一圖像和所述第二圖像之間的旋轉(zhuǎn)矩陣；

根據(jù)所述旋轉(zhuǎn)矩陣和所述攝像頭的內(nèi)部參數(shù)計算所述旋轉(zhuǎn)矩陣對應(yīng)的單應(yīng)性矩陣；

根據(jù)所述單應(yīng)性矩陣計算所述陀螺域。

4.根據(jù)權(quán)利要求3所述的光流估計方法，其特征在于，所述攝像頭采用簾卷快門，所述根據(jù)所述第一陀螺儀數(shù)據(jù)和所述第二陀螺儀數(shù)據(jù)計算所述第一圖像和所述第二圖像之間的旋轉(zhuǎn)矩陣，包括：

根據(jù)所述第一陀螺儀數(shù)據(jù)中包含的n組數(shù)據(jù)和所述第二陀螺儀數(shù)據(jù)中包含的n組數(shù)據(jù)，計算所述第一圖像和所述第二圖像之間的n個旋轉(zhuǎn)矩陣；其中，n為大于1的整數(shù)，每組數(shù)據(jù)采集于不同的時刻，第i個旋轉(zhuǎn)矩陣為所述第一圖像按曝光順序的第i部分和所述第二圖像按曝光順序的第i部分之間的旋轉(zhuǎn)矩陣，i為1～n中的任一整數(shù)；

所述根據(jù)所述旋轉(zhuǎn)矩陣和所述攝像頭的內(nèi)部參數(shù)計算所述旋轉(zhuǎn)矩陣對應(yīng)的單應(yīng)性矩陣，包括：

根據(jù)所述n個旋轉(zhuǎn)矩陣和所述攝像頭的內(nèi)部參數(shù)計算所述n個旋轉(zhuǎn)矩陣對應(yīng)的n個單應(yīng)性矩陣；

所述根據(jù)所述單應(yīng)性矩陣計算所述陀螺域，包括：

根據(jù)所述n個單應(yīng)性矩陣計算n個部分陀螺域，并將所述n個部分陀螺域拼接為所述陀螺域；其中，第i個部分陀螺域為所述第一圖像按曝光順序的第i部分和所述第二圖像按曝光順序的第i部分之間的二維運動場，i為1～n中的任一整數(shù)。

5.根據(jù)權(quán)利要求4所述的光流估計方法，其特征在于，所述根據(jù)所述第一陀螺儀數(shù)據(jù)中包含的n組數(shù)據(jù)和所述第二陀螺儀數(shù)據(jù)中包含的n組數(shù)據(jù)，計算所述第一圖像和所述第二圖像之間的n個旋轉(zhuǎn)矩陣，包括：

根據(jù)所述第一陀螺儀數(shù)據(jù)中包含的n組數(shù)據(jù)計算對應(yīng)的n個臨時旋轉(zhuǎn)矩陣M₁～M_n，以及，根據(jù)所述第二陀螺儀數(shù)據(jù)中包含的n組數(shù)據(jù)計算對應(yīng)的n個臨時旋轉(zhuǎn)矩陣M_n+1～M_2n；

i遍歷1～n中的整數(shù)，根據(jù)n+1個臨時旋轉(zhuǎn)矩陣M_i～M_n+i，計算所述第一圖像和所述第二圖像之間的第i個旋轉(zhuǎn)矩陣，遍歷完成后得到所述n個旋轉(zhuǎn)矩陣。

6.根據(jù)權(quán)利要求3所述的光流估計方法，其特征在于，所述攝像頭采用全局快門，所述根據(jù)所述第一陀螺儀數(shù)據(jù)和所述第二陀螺儀數(shù)據(jù)計算所述第一圖像和所述第二圖像之間的旋轉(zhuǎn)矩陣，包括：

根據(jù)所述第一陀螺儀數(shù)據(jù)中包含的n組數(shù)據(jù)和所述第二陀螺儀數(shù)據(jù)中包含的n組數(shù)據(jù)，計算所述第一圖像的整體和所述第二圖像的整體之間的一個旋轉(zhuǎn)矩陣；其中，n為大于1的整數(shù)，每組數(shù)據(jù)采集于不同的時刻。