[發明專利]光流估計方法、計算機程序產品、存儲介質及電子設備

在審

• 申請號: 202111164952.3
• 申請日: 2021-09-30
• 公開（公告）號: CN114119678A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 李海鵬;劉帥成;李有為;葉年進;程深
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06V20/40;G06V10/147;G06V10/80;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本申請涉及圖像處理技術領域，提供一種光流估計方法、計算機程序產品、存儲介質及電子設備。其中，光流估計方法包括：獲取第一圖像、第二圖像、第一陀螺儀數據和第二陀螺儀數據；第一圖像和第二圖像為同一攝像頭在不同時刻采集的圖像，第一陀螺儀數據為第一圖像采集期間陀螺儀采集的數據，第二陀螺儀數據為第二圖像采集期間陀螺儀采集的數據；根據第一陀螺儀數據和第二陀螺儀數據計算陀螺域；根據第一圖像和第二圖像估計二者之間的臨時光流，并將臨時光流和陀螺域進行融合，得到第一圖像和第二圖像之間的光流。該方法能夠顯著提高光流估計精度，特別是能夠有效處理雨天、霧天、夜晚等特殊場景下采集的圖像。

技術領域

本發明涉及圖像處理技術領域，具體而言，涉及一種光流估計方法、計算機程序產品、存儲介質及電子設備。

背景技術

光流估計是一項基礎而又重要的計算機視覺任務，且已被廣泛地應用于物體跟蹤、視覺測繪和圖像對齊等應用中?，F有的光流估計方法嚴重依賴于圖像內容，通常要求用于光流估計的圖像中包含豐富的紋理信息和相似的照明條件。然而，對于在雨天、霧天、夜晚等場景下采集的圖像，上述要求往往難以滿足，導致現有方法針對這些場景估計出的光流精度較低。

發明內容

本申請實施例的目的在于提供一種光流估計方法、計算機程序產品、存儲介質及電子設備，以改善上述技術問題。

為實現上述目的，本申請提供如下技術方案：

第一方面，本申請實施例提供一種光流估計方法，包括：獲取第一圖像、第二圖像、第一陀螺儀數據和第二陀螺儀數據；其中，所述第一圖像和所述第二圖像為同一攝像頭在不同時刻采集的圖像，所述第一陀螺儀數據為所述第一圖像采集期間陀螺儀采集的數據，所述第二陀螺儀數據為所述第二圖像采集期間所述陀螺儀采集的數據；根據所述第一陀螺儀數據和所述第二陀螺儀數據計算陀螺域，所述陀螺域為所述第一圖像和所述第二圖像之間的二維運動場；根據所述第一圖像和所述第二圖像估計二者之間的臨時光流，并將所述臨時光流和所述陀螺域進行融合，得到所述第一圖像和所述第二圖像之間的光流。

上述方法中的陀螺域是根據陀螺儀數據計算的，由于陀螺儀數據不受圖像內容影響，并且陀螺儀數據是在圖像采集期間采集的，因此計算出的陀螺域能夠有效反應第一圖像和第二圖像中的背景運動，而根據第一圖像和第二圖像所估計出的臨時光流則能夠比較好地反應第一圖像和第二圖像中的前景和運動物體的運動，從而將二者融合后能夠顯著提高光流估計精度。

特別地，對于在雨天、霧天、夜晚等場景下采集的圖像，背景往往模糊不清，基于圖像內容的光流估計方法難以處理，而在上述方法中則利用陀螺儀數據進行了很好的估計，因此該方法能夠有效應對特殊場景帶來的挑戰。

在第一方面的一種實現方式中，所述第一陀螺儀數據為所述第一圖像曝光期間陀螺儀采集的數據，所述第二陀螺儀數據為所述第二圖像曝光期間陀螺儀采集的數據；其中，所述攝像頭采集圖像包括曝光和后處理兩個階段。

由于圖像在曝光階段已經生成了，后處理階段只是在對生成的圖像進行質量優化，所以后處理階段的陀螺儀數據和圖像并沒有對應關系，從而計算陀螺域時可以只使用曝光階段的陀螺儀數據，以提高計算精度。

在第一方面的一種實現方式中，所述根據所述第一陀螺儀數據和所述第二陀螺儀數據計算陀螺域，包括：根據所述第一陀螺儀數據和所述第二陀螺儀數據計算所述第一圖像和所述第二圖像之間的旋轉矩陣；根據所述旋轉矩陣和所述攝像頭的內部參數計算所述旋轉矩陣對應的單應性矩陣；根據所述單應性矩陣計算所述陀螺域。

根據陀螺儀數據可以計算三維空間中的旋轉矩陣，再根據攝像頭的內部參數可以將旋轉矩陣轉化為二維空間中的單應性矩陣，再將單應性矩陣應用到像素坐標上，就可以計算出陀螺域。在三維空間上看，陀螺域表征了攝像頭的旋轉，在二維空間上看，陀螺域表征了圖像中的背景運動。