[發明專利]用于中間幀圖像處理的裝置和計算機實現的方法

在審

• 申請號: 202011282317.0
• 申請日: 2020-11-16
• 公開（公告）號: CN112801850A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 冼濤;馮琛;根納迪·杰曼;杰弗里·迪安·哈珀
• 申請（專利權）人: 手持產品公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06T1/60
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 曹凌;王麗輝

本文所述的實施方案提供了一種多傳感器環境中的中間幀圖像處理模式，例如通過處理在多個圖像傳感器之間相同的中間幀圖像尺寸的中間幀圖像數據對象來改善圖像處理吞吐量和反應時間。示例性裝置包括多個圖像傳感器，每個圖像傳感器被配置為捕獲全幀圖像數據對象并輸出中間幀圖像數據對象。該裝置還包括圖像幀復用器，該圖像幀復用器能夠與多個圖像傳感器中的每個圖像傳感器進行通信，并且被配置為接收多個中間幀圖像數據對象并且輸出從多個中間幀圖像數據對象中選定的中間幀圖像數據對象。該裝置還包括處理器，該處理器能夠與圖像幀復用器進行通信，并且被配置為接收選定的中間幀圖像數據對象并且處理選定的中間幀圖像數據對象。

技術領域

本公開的實施方案整體涉及圖像處理，并且具體地講，涉及用于在所有圖像傳感器中利用公共圖像數據格式(例如，中間幀圖像尺寸)在多傳感器環境中進行圖像處理的裝置和計算機實現的方法。

背景技術

在包括兩個或更多個圖像傳感器的常規成像裝置中，由圖像傳感器輸出的圖像需要組合成一個輸出以用于處理。類似地，信號需要在兩個或更多個傳感器之間同步以保持系統效率和功效。為了執行此類操作，常規成像裝置傳統上利用可編程邏輯設備，諸如復雜可編程邏輯設備(“CPLD”)或現場可編程門陣列(“FPGA”)。此類計算裝置將系統延遲添加到一個或多個幀，并且增加設備的復雜性、成本和尺寸。此外，常規成像裝置傳統上利用圖像傳感器的動態切換。兩個或更多個傳感器之間的常規動態切換傳統上需要操作系統和/或驅動器支持，并且傳統上需要在兩個或更多個傳感器之間進行切換時重新初始化每個圖像傳感器，進一步降低系統的反應時間(snappiness)。申請人發現了在具有兩個或更多個圖像傳感器的多傳感器環境中進行常規圖像處理的當前具體實施的問題。通過所施加的努力、智慧和創新，申請人已通過開發體現在本公開中的解決方案解決了許多這些認識到的問題，下文將詳細描述這些解決方案。

發明內容

一般來講，本文提供的本公開的實施方案包括用于中間幀圖像處理的系統、方法、裝置和計算機程序產品。本領域技術人員在審查下列附圖和詳細的描述后，其他系統、裝置、方法、計算機可讀介質和特征將是顯而易見的或將變得顯而易見。旨在使包括在本說明書內的所有此類附加系統、裝置、方法、計算機可讀介質和特征在本公開的范圍內，并且受以下權利要求書的保護。

根據本公開的一個方面，中間幀圖像處理裝置包括第一圖像傳感器，該第一圖像傳感器被配置為基于第一全幀圖像尺寸和中間幀圖像尺寸來輸出第一中間幀圖像數據對象。示例性中間幀圖像處理裝置還包括第二圖像傳感器，該第二圖像傳感器被配置為基于第二全幀圖像尺寸和中間幀圖像尺寸來輸出第二中間幀圖像數據對象。示例性中間幀圖像處理裝置還包括圖像幀復用器，該圖像幀復用器與第一圖像傳感器和第二圖像傳感器進行數據通信，并且被配置為從第一圖像傳感器接收第一中間幀圖像數據對象并從第二圖像傳感器接收第二中間幀圖像數據對象。圖像幀復用器被進一步配置為輸出從第一中間幀圖像數據對象或第二中間幀圖像數據對象中選定的中間幀圖像數據對象。示例性中間幀圖像處理裝置還包括能夠與圖像幀復用器進行通信的處理器，該處理器被配置為從圖像幀復用器接收選定的中間幀圖像數據對象并處理選定的中間幀圖像數據對象。

除此之外或另選地，在該裝置的至少一些示例性實施方案中，基于中間幀圖像尺寸配置至少第一圖像傳感器，并且輸出中間幀圖像數據對象，第一圖像傳感器被配置為通過執行以下操作中的一者或多者來從第一全幀圖像數據對象生成第一中間幀圖像數據對象：(1)剪裁第一全幀圖像數據對象，以在第一中間幀圖像數據對象中包括：第一全幀圖像數據對象的經剪裁的圖像數據部分，基于第一全幀圖像尺寸和中間幀圖像尺寸來識別該經剪裁的圖像數據部分，以及(2)基于圖像數據填充來填充第一中間幀圖像數據對象，基于第一全幀圖像尺寸和中間幀圖像尺寸來識別該圖像數據填充，并且將第一中間幀圖像數據對象傳輸到圖像幀復用器。

除此之外或另選地，在該裝置的至少一些示例性實施方案中，第一全幀圖像尺寸與第二全幀圖像尺寸相差至少一個或多個數據行和/或一個或多個數據列。