[發明專利]光流估計方法、計算機程序產品、存儲介質及電子設備

在審

• 申請號: 202111164952.3
• 申請日: 2021-09-30
• 公開（公告）號: CN114119678A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 李海鵬;劉帥成;李有為;葉年進;程深
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06V20/40;G06V10/147;G06V10/80;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

1.一種光流估計方法，其特征在于，包括：

獲取第一圖像、第二圖像、第一陀螺儀數據和第二陀螺儀數據；其中，所述第一圖像和所述第二圖像為同一攝像頭在不同時刻采集的圖像，所述第一陀螺儀數據為所述第一圖像采集期間陀螺儀采集的數據，所述第二陀螺儀數據為所述第二圖像采集期間所述陀螺儀采集的數據；

根據所述第一陀螺儀數據和所述第二陀螺儀數據計算陀螺域，所述陀螺域為所述第一圖像和所述第二圖像之間的二維運動場；

根據所述第一圖像和所述第二圖像估計二者之間的臨時光流，并將所述臨時光流和所述陀螺域進行融合，得到所述第一圖像和所述第二圖像之間的光流。

2.根據權利要求1所述的光流估計方法，其特征在于，所述第一陀螺儀數據為所述第一圖像曝光期間陀螺儀采集的數據，所述第二陀螺儀數據為所述第二圖像曝光期間陀螺儀采集的數據；其中，所述攝像頭采集圖像包括曝光和后處理兩個階段。

3.根據權利要求1或2所述的光流估計方法，其特征在于，所述根據所述第一陀螺儀數據和所述第二陀螺儀數據計算陀螺域，包括：

根據所述第一陀螺儀數據和所述第二陀螺儀數據計算所述第一圖像和所述第二圖像之間的旋轉矩陣；

根據所述旋轉矩陣和所述攝像頭的內部參數計算所述旋轉矩陣對應的單應性矩陣；

根據所述單應性矩陣計算所述陀螺域。

4.根據權利要求3所述的光流估計方法，其特征在于，所述攝像頭采用簾卷快門，所述根據所述第一陀螺儀數據和所述第二陀螺儀數據計算所述第一圖像和所述第二圖像之間的旋轉矩陣，包括：

根據所述第一陀螺儀數據中包含的n組數據和所述第二陀螺儀數據中包含的n組數據，計算所述第一圖像和所述第二圖像之間的n個旋轉矩陣；其中，n為大于1的整數，每組數據采集于不同的時刻，第i個旋轉矩陣為所述第一圖像按曝光順序的第i部分和所述第二圖像按曝光順序的第i部分之間的旋轉矩陣，i為1～n中的任一整數；

所述根據所述旋轉矩陣和所述攝像頭的內部參數計算所述旋轉矩陣對應的單應性矩陣，包括：

根據所述n個旋轉矩陣和所述攝像頭的內部參數計算所述n個旋轉矩陣對應的n個單應性矩陣；

所述根據所述單應性矩陣計算所述陀螺域，包括：

根據所述n個單應性矩陣計算n個部分陀螺域，并將所述n個部分陀螺域拼接為所述陀螺域；其中，第i個部分陀螺域為所述第一圖像按曝光順序的第i部分和所述第二圖像按曝光順序的第i部分之間的二維運動場，i為1～n中的任一整數。

5.根據權利要求4所述的光流估計方法，其特征在于，所述根據所述第一陀螺儀數據中包含的n組數據和所述第二陀螺儀數據中包含的n組數據，計算所述第一圖像和所述第二圖像之間的n個旋轉矩陣，包括：

根據所述第一陀螺儀數據中包含的n組數據計算對應的n個臨時旋轉矩陣M₁～M_n，以及，根據所述第二陀螺儀數據中包含的n組數據計算對應的n個臨時旋轉矩陣M_n+1～M_2n；

i遍歷1～n中的整數，根據n+1個臨時旋轉矩陣M_i～M_n+i，計算所述第一圖像和所述第二圖像之間的第i個旋轉矩陣，遍歷完成后得到所述n個旋轉矩陣。

6.根據權利要求3所述的光流估計方法，其特征在于，所述攝像頭采用全局快門，所述根據所述第一陀螺儀數據和所述第二陀螺儀數據計算所述第一圖像和所述第二圖像之間的旋轉矩陣，包括：

根據所述第一陀螺儀數據中包含的n組數據和所述第二陀螺儀數據中包含的n組數據，計算所述第一圖像的整體和所述第二圖像的整體之間的一個旋轉矩陣；其中，n為大于1的整數，每組數據采集于不同的時刻。