[發明專利]用于滾動快門補償的方法和設備

在審

• 申請號: 201780031633.0
• 申請日: 2017-05-01
• 公開（公告）號: CN109247068A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 丹尼爾·瓦格納
• 申請（專利權）人: 高通股份有限公司
• 主分類號: H04N5/353
• 分類號: H04N5/353;H04N5/217
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 楊林勳

本發明公開一種用于滾動快門補償的系統、設備和方法。可從滾動快門相機接收具有在不同時間捕獲的多個掃描線的圖像，其中每一掃描線包含多個2D像素，且其中每一掃描線具有相關聯的相機位姿。可將所述接收到的圖像的第一掃描線中的一或多個2D像素去投影到3D坐標，且可將所述3D坐標從所述第一掃描線變換到參考位姿。可重新投影所述經變換的3D坐標，且響應于所述重新投影，可為所述第一掃描線中的所述一或多個2D像素提供參考時間幀經校正的2D坐標。

相關申請案的交叉參考

本申請案主張2016年6月24日申請的標題為“用于滾動快門補償的方法和設備(METHOD AND APPARATUS FOR ROLLING SHUTTER COMPENSATION)”的第15/192,930號美國專利申請案的優先權，所述專利申請案以引用的方式并入本文中。

技術領域

本文所公開的標的物大體上涉及圖像處理技術，且更具體地說，涉及滾動快門圖像捕獲的處理方面。

背景技術

滾動快門(RS)描述可將假影引入到所得圖像中的圖像捕獲方法。RS假影通常因為包括RS數字圖像捕獲的掃描線的2D循序讀出而出現。相比之下，對于一次捕獲整個圖像的其它數字圖像技術(例如全局快門相機傳感器)，RS假影通常不會出現。RS類型的相機傳感器通常以從上到下序列捕獲掃描線，與暴露時間或幀速率無關。RS假影通常在相機或對象在RS相機的讀出時間期間移動(例如改變相對位置)時出現。讀出時間是讀取第一(例如頂部)掃描線與最后一個(例如底部)掃描線之間的延遲或持續時間。讀出時間可比暴露時間或反向幀速率短或長。讀出時間通常是固定硬件特性(即，讀出時間通常不隨著幀速率而改變)。歸因于第一掃描線與最后一個掃描線之間的讀出時間(即，RS延遲/持續時間)，第一掃描線(例如圖像的頂部)可描繪與后續掃描線(例如在第一或初始掃描線之后捕獲的掃描線，例如在從上到下掃描序列中，在圖像的底部)中的對象或環境不同(例如來自較早時間)的對象或環境。當相機或對象/環境處于運動時，對象或環境的差異可導致RS假影。對RS問題的一些解決方案嘗試通過嚴格的2D像素分析和操縱來校正RS假影。其它解決方案可嘗試計算用RS相機捕獲的圖像的每個2D像素的獨立時戳。先前解決方案的問題是不可用于某些裝置(例如移動或便攜式裝置)的相對復雜性和較大的計算資源要求。因此，需要用于處理彩色和深度圖像的新型且改進的技術。

發明內容

本文所公開的實施例可將特征點位置校正到共用時間幀。可通過從圖像中的其它RS掃描線選擇一掃描線作為參考，來確定所述共用時間幀。

本文所公開的實施例可涉及一種校正滾動快門假影的方法，所述方法包括：從滾動快門相機接收具有在不同時間捕獲的多個掃描線的圖像，其中每一掃描線包含多個2D像素，且其中每一掃描線具有相關聯的相機位姿；將所述接收到的圖像的第一掃描線中的一或多個2D像素去投影到3D坐標；將所述3D坐標從所述第一掃描線變換為參考位姿；重新投影經變換的3D坐標；以及響應于重新投影，為第一掃描線中的一或多個2D像素提供參考時間幀經校正的2D坐標。

本文所公開的實施例還可涉及一種其中存儲有程序指令的機器可讀非暫時性存儲媒體，所述程序指令可由處理器執行以：從滾動快門相機接收具有在不同時間捕獲的多個掃描線的圖像，其中每一掃描線包含多個2D像素，且其中每一掃描線具有相關聯的相機位姿；將所述接收到的圖像的第一掃描線中的一或多個2D像素去投影到3D坐標；將所述3D坐標從第一掃描線變換為參考位姿；重新投影經變換的3D坐標；以及響應于重新投影，為第一掃描線中的一或多個2D像素提供參考時間幀經校正的2D坐標。