[發明專利]用于圖像采集和處理的統一跨設備控制的抽象相機管道

有效

• 申請號: 201380036682.5
• 申請日: 2013-07-11
• 公開（公告）號: CN104471510B
• 公開（公告）日: 2017-06-09
• 發明（設計）人: E-V·A·塔爾瓦拉
• 申請（專利權）人: 谷歌公司
• 主分類號: G06F3/00
• 分類號: G06F3/00;G06T1/00;H04N5/232
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 邵亞麗

技術領域

本申請涉及用于在設備中獲取數字圖像的方法和系統。具體地，本公開涉及允許安裝在設備上的分立程序控制相同設備上的數字圖像傳感器的應用編程接口(API)。

背景技術

很多現代設備依賴于來自一個供應商的操作系統和來自一個或者多個其他供應商的硬件。進一步地，設備可以包括來自第三供應商的另外的程序或者應用。

在設備上，操作系統包括監管操作系統或者硬件(例如，顯示器、觸摸屏、音頻輸出、網絡連接、數字圖像傳感器等)的應用控制的應用編程接口(API)。這些API提供用于在硬件上執行功能的通用指令準則。

當前的相機API可以包括高水平準則，諸如用于獲取圖像的指令和用于使閃光燈發光的指令。另外的低水平功能不存在于API中，并且因此應用對數字圖像傳感器具有有限的控制。提供具有低水平功能但是與更大數目的獨立硬件配置兼容的API將是有利的。

發明內容

一種用于具有集成相機的設備獲取數字圖像的系統包括應用程序接口(API)。API適于從操作在設備上的分立應用接收指令。指令可以包括圖像采集指令和圖像數據預處理指令。API還可以適于使用管道配置處理多個圖像采集指令，其中根據第一圖像采集請求執行處理的不同元素，而根據第二圖像采集請求執行處理的其他元素。在預處理后，系統將經預處理的圖像輸出回到分立應用，和/或到存儲器和GPU。

由API從分立應用接收的指令允許分立應用自定義API輸出的圖像數據的采集和預處理。

從下文的詳細描述中，本公開另外的特征將顯而易見，詳細描述借助于示例圖示了本公開的特征。

附圖說明

本領域的技術人員從下文的詳細描述和其附圖中將會領會和理解本公開的上述和其他優點和特征。

圖1是本公開的用于獲取圖像的系統的示例的透視圖；

圖2是本公開的用于獲取圖像的系統的示例的示意圖；

圖3是本公開的用于獲取圖像的系統的示例的另一示意圖；

圖4是本公開的用于獲取圖像的系統的示例的預處理器的示意圖；以及

圖5是本公開的用于獲取圖像的系統的示例的另一示意圖。

具體實施方式

本公開提供用于相機和傳感器的改進的API。如圖1所示，API(有時稱為“接口”)優選地設計用于移動設備100，雖然它可以用在具有相機102的任何設備上。API被配置成基于指令集控制一類硬件配置。

假定設備100包括操作系統(OS)210和分立應用220。OS 210協調應用220、集成相機202(貫穿本書面描述，術語相機和傳感器可以互換使用)和顯示器204的功能。OS 210進一步包括相機API212和顯示器API 214，其中相機API 212與相機202通信，并且顯示器API 214與顯示器204通信。

預處理

無論何時(相機的)圖像傳感器獲取圖像或視頻(下文中“圖像”可以用于包括圖像和視頻二者)，初始傳感器數據在其可以被顯示前必須被預處理。初始傳感器數據包括噪聲、邊影、模糊(pixilation)和使圖像對于人眼更不可識別的其他特性。因此，必須使用預處理算法(例如，去馬賽克、噪聲降低、噪點校正、白平衡調整、對比度調整、邊緣增強)調整初始傳感器數據。本公開允許在圖像創建中的該數據的預處理中的更大的靈活性。

本公開將提供統一的指令集，借此在系統300上運行的分立應用312(即，結合但獨立于操作系統運行的應用)能夠操縱預處理器330。具體地，系統300允許應用312控制包括在數字圖像獲取中的預處理器330。例如，隨后安裝在設備100上的應用可以提供用于先前標識的預處理功能的新算法。系統300還能夠操作在一類硬件配置上，而不是設計用于特定的圖像傳感器和處理器。

如圖3所示，圖像獲取系統300從傳感器302或者Raw輸入308獲得初始傳感器數據306，其中傳感器302和Raw輸入308可以由獲取圖像指令啟動。Raw輸入308包括已經存儲在存儲器中的先前獲得的傳感器數據。初始傳感器數據306被輸送到統計發生器320和Raw輸出350。Raw輸出350前進到多路復用器360，這在下文中討論。

統計發生器320測量統計數字，諸如日期、分辨率、閃光、和與正被獲取的圖像相關的其他信息。在一個示例中，統計發生器320計算直方圖并且將直方圖輸出到應用。