[發(fā)明專利]圖像處理系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201310219068.4
• 申請日: 2013-03-01
• 公開（公告）號: CN103327218B
• 公開（公告）日: 2017-06-16
• 發(fā)明（設(shè)計(jì)）人: C·L·米爾斯;D·A·斯?fàn)栁炙固?/a>
• 申請（專利權(quán)）人: 蘋果公司
• 主分類號: H04N5/14
• 分類號: H04N5/14;H04N5/335;G06T5/00
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會專利商標(biāo)事務(wù)所11038
• 代理人: 鮑進(jìn)

技術(shù)領(lǐng)域

本發(fā)明公開一般涉及圖像處理，更特別地，涉及在圖像信號處理器中的附加處理之前在圖像傳感器中進(jìn)行初始圖像處理的系統(tǒng)和方法。

背景技術(shù)

這一部分意在向讀者介紹可能與本公開如下說明和/或請求保護(hù)的各個(gè)方面有關(guān)的技術(shù)的各個(gè)方面。這一討論旨在幫助向讀者提供背景技術(shù)信息，以方便更好地理解本公開的各個(gè)方面。因此，應(yīng)當(dāng)理解：這些敘述要以此角度閱讀，而不是視為對現(xiàn)有技術(shù)的承認(rèn)。

數(shù)字成像設(shè)備已經(jīng)越來越流行，這至少部分地由于這些設(shè)備變得對于一般消費(fèi)者來說越來越消費(fèi)得起。進(jìn)一步地，除了市場上目前已有的一些獨(dú)立數(shù)字照相機(jī)之外，數(shù)字成像設(shè)備被集成為另一電子設(shè)備(諸如桌上型或筆記本電腦、蜂窩電話或便攜媒體播放器)的一部分也很常見。

為獲取圖像數(shù)據(jù)，大多數(shù)數(shù)字成像設(shè)備包括圖像傳感器，其提供多個(gè)被配置成將圖像傳感器檢測到的光轉(zhuǎn)換為電信號的光檢測元件(例如，光電探測器)。圖像傳感器還可包括對由圖像傳感器捕獲的光進(jìn)行過濾以獲取顏色信息的濾色器陣列。圖像傳感器捕獲的圖像數(shù)據(jù)隨后可被發(fā)送到圖像處理流水線(例如，圖像信號處理器(ISP))，其可對圖像數(shù)據(jù)應(yīng)用多個(gè)各種圖像處理操作并產(chǎn)生可被顯示在諸如監(jiān)視器的顯示設(shè)備上以供觀看的全色圖像。通常，圖像傳感器可將圖像數(shù)據(jù)經(jīng)由傳感器到ISP數(shù)據(jù)鏈路發(fā)送到ISP。這樣，對于靜止圖像數(shù)據(jù)，圖像傳感器捕獲圖像并將該圖像作為原始圖像數(shù)據(jù)經(jīng)由傳感器到ISP數(shù)據(jù)鏈路發(fā)送到ISP。ISP和傳感器到ISP數(shù)據(jù)鏈路通常能夠以標(biāo)準(zhǔn)速率處理該原始圖像數(shù)據(jù)，以使得在顯示設(shè)備上有效地顯示高分辨率圖像。

另一方面，視頻圖像數(shù)據(jù)包括與靜止圖像數(shù)據(jù)相比來說更大量的數(shù)據(jù)。例如，視頻圖像可包括以每秒30到60幀捕獲的圖像(即，原始視頻數(shù)據(jù))。在將視頻數(shù)據(jù)縮減為典型輸出分辨率(例如，1920×1080)之前，特定專業(yè)照相機(jī)設(shè)備可在ISP內(nèi)處理高分辨率原始視頻數(shù)據(jù)。然而，通過ISP處理原始視頻數(shù)據(jù)的每一幀要消耗大量的處理和電力資源。為避免于此，在將原始圖像數(shù)據(jù)傳送到ISP之前，許多消費(fèi)者照相機(jī)設(shè)備可在傳感器中減少原始視頻數(shù)據(jù)的有效分辨率。

減少原始視頻數(shù)據(jù)的有效分辨率的常見方式是通過“合并(binning)”原始視頻數(shù)據(jù)。合并可以包括在原始圖像數(shù)據(jù)的每一幀中平均相鄰組的同色像素以產(chǎn)生有效的較低分辨率傳感器。例如，在4000x3000像素傳感器上，傳感器可編程為將每個(gè)2x2像素組合并而將像素傳感器的有效分辨率減少至2000x1500，ISP可能將其剪切和/或縮放至1920x1080的分辨率。盡管ISP和傳感器到ISP數(shù)據(jù)鏈路使用合并處理可更有效地處理圖像傳感器接收的高分辨率圖像和視頻圖像，所產(chǎn)生的視顏圖像的質(zhì)量可能不那么令人滿意。

發(fā)明內(nèi)容

以下將提出在此公開的特定實(shí)施例的概述。應(yīng)當(dāng)理解，列出這些方面僅僅是為了向讀者提供這些特定實(shí)施例的簡單概述，這些方面并不是意圖限制本公開的范圍。事實(shí)上，本公開可包含以下可能并未提出的各個(gè)方面。

本公開一般涉及在圖像處理系統(tǒng)內(nèi)傳送圖像數(shù)據(jù)的系統(tǒng)和方法。為有效顯示高分辨率圖像和視頻圖像，圖像傳感器將減少其原始圖像數(shù)據(jù)的有效分辨率。如在此使用的術(shù)語“原始視頻數(shù)據(jù)”以及“原始圖像數(shù)據(jù)”都指的是由圖像傳感器在視頻捕獲期間捕獲的圖像數(shù)據(jù)。在本公開中，這些術(shù)語基本上可互換地使用。傳感器可將修正的圖像數(shù)據(jù)經(jīng)由傳感器到ISP數(shù)據(jù)鏈路發(fā)送到ISP。ISP和傳感器到ISP數(shù)據(jù)鏈路可處理修正的圖像數(shù)據(jù)以獲得可在顯示設(shè)備上觀看的最終視頻。

替代在圖像傳感器中簡單地合并原始圖像數(shù)據(jù)(這可導(dǎo)致圖像信息的丟失)，圖像傳感器可以以因數(shù)2水平縮減原始視頻圖像數(shù)據(jù)來降低原始圖像數(shù)據(jù)的帶寬。水平縮減可以是在傳感器內(nèi)執(zhí)行的相對資源效率更高的操作。然后圖像傳感器可將水平縮減后的圖像數(shù)據(jù)經(jīng)由傳感器到ISP數(shù)據(jù)鏈路發(fā)送到ISP。一旦ISP收到縮減后的圖像數(shù)據(jù)，ISP可將其垂直縮減以產(chǎn)生具有最終輸出分辨率的圖像，其將顯示在顯示設(shè)備上。

附加地或可替換地，圖像傳感器可在水平縮減之前從原始圖像數(shù)據(jù)中識別出缺陷像素。以此方式，圖像傳感器可在縮減原始圖像數(shù)據(jù)之前以及在將縮減后的圖像數(shù)據(jù)發(fā)送到ISP之前校正缺陷像素。由于缺陷像素可在縮減視頻數(shù)據(jù)之前被補(bǔ)救，缺陷像素對最終視頻圖像數(shù)據(jù)質(zhì)量只有較小的影響。