[發(fā)明專利]虛擬化圖像信號處理器

無效

• 申請?zhí)枺?/td>: 201310178872.2
• 申請日: 2013-05-15
• 公開（公告）號: CN103428507A
• 公開（公告）日: 2013-12-04
• 發(fā)明（設(shè)計）人: 里卡多·J·莫塔
• 申請（專利權(quán)）人: 輝達(dá)公司
• 主分類號: H04N9/04
• 分類號: H04N9/04;H04N5/367;H04N5/232;H04N5/235;H04N9/69;H04N9/73
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 徐丁峰;魏寧

相關(guān)申請的交叉引用

本申請要求于2012年5月15日提交的、申請?zhí)枮?1/647,433的美國臨時專利申請案的益處和優(yōu)先權(quán)，其全部內(nèi)容通過引用并入本文用于所有目的。

背景技術(shù)

數(shù)字相機使用各種圖像傳感器（CCD，CMOS等）來將通過光學(xué)部件（例如鏡頭）所接收的光轉(zhuǎn)化為電信號。之后通過機上（on-camera）處理管線發(fā)送電信號以最終生成存儲在相機上的可交換格式圖像。圖像可以顯示在相機的顯示屏上，并且圖像可以手動轉(zhuǎn)移到另一設(shè)備，諸如臺式計算機、筆記本、手寫板或其他計算設(shè)備。可交換格式圖像是可以在計算設(shè)備之間共享的與設(shè)備無關(guān)的格式，諸如JPEG、GIF等。處理管線包括在相機內(nèi)主要以硬件實現(xiàn)的圖像信號處理器（ISP）。專用硬件實現(xiàn)方案是由于ISP中的處理操作的高計算強度，并且使得高質(zhì)量可交換格式圖像能夠較快生成。機上處理操作可以包括范圍校正、缺陷像素校正（DPC）、鏡頭陰影校正、去馬賽克等等。

發(fā)明人已經(jīng)意識到以上討論的典型板載ISP的數(shù)個缺點。例如，經(jīng)由硬件部件來實現(xiàn)ISP降低ISP的適應(yīng)性并且抑制性能升級和處理操作改良。此外，可能花費相當(dāng)大量的時間來開發(fā)用于板載ISP的經(jīng)改進硬件，這延長用于迭代改良的持續(xù)時間并且增加新創(chuàng)新到達(dá)市場花費的時間。此外，以在采取曝光之后的少量延遲和少量能力代價將圖像顯示在相機上是可取的。另一方面，生成高質(zhì)量圖像也是可取的，這可以增加板載系統(tǒng)的復(fù)雜性并且消耗更多能力。前述目標(biāo)（即，延遲、能力代價以及圖像質(zhì)量）通常是不一致的。因此，經(jīng)由機上ISP來生成圖像可以包含在延遲、能力代價以及圖像質(zhì)量之間的權(quán)衡。

附圖說明

圖1和圖2顯示了數(shù)字?jǐn)z影系統(tǒng)的示意性描繪。

圖3顯示了包括在圖1和圖2所示的數(shù)字?jǐn)z影系統(tǒng)中的處理操作管線的示例；以及

圖4A-4B顯示了用于數(shù)字?jǐn)z影系統(tǒng)中進行圖像處理的方法。

具體實施方式

本文描述了用于自動將特定于相機的圖像源數(shù)據(jù)轉(zhuǎn)移到機外（off-camera）圖像信號處理器（ISP）用于處理的數(shù)字?jǐn)z影系統(tǒng)。對遠(yuǎn)程資源的卸載處理在ISP中提供更大的靈活性并且使能對更大量的計算能力的駕馭用于圖像處理。結(jié)果，與經(jīng)由機上ISP可以獲得的圖像質(zhì)量相比，當(dāng)利用機外ISP時增加了經(jīng)處理圖像的圖像質(zhì)量。此外，當(dāng)使用機外ISP時，處理操作可以基于從相機、從工廠所接收的數(shù)據(jù)（例如，元數(shù)據(jù)）而被更新、調(diào)整，和/或基于用戶的偏愛而被調(diào)整，以進一步增強圖像質(zhì)量。此外，機外ISP可以生成并發(fā)送入境控制信號給數(shù)字相機來改進圖像質(zhì)量和總體相機性能。

圖1和圖2是顯示了采用自動化遠(yuǎn)程ISP處理的數(shù)字?jǐn)z影系統(tǒng)的各方面的示意性描繪。圖3顯示了可由包括在圖1和圖2所示的數(shù)字?jǐn)z影系統(tǒng)中的機上ISP和機外ISP這二者所執(zhí)行的多個處理操作。圖4A-4B顯示了用于數(shù)字?jǐn)z影系統(tǒng)中進行圖像處理的方法。

圖1描繪了數(shù)字?jǐn)z影系統(tǒng)10，該數(shù)字?jǐn)z影系統(tǒng)10配置為除了其他方面以外，從通過數(shù)字相機12所采取的曝光來生成數(shù)字圖像。數(shù)字?jǐn)z影系統(tǒng)10包括與包括機外ISP?16的機外處理子系統(tǒng)14電通信的數(shù)字相機12。將予以理解的是，在一些實施例中，數(shù)字相機12可以位于機外處理子系統(tǒng)14的遠(yuǎn)程。諸如因特網(wǎng)的網(wǎng)絡(luò)可以促進在數(shù)字相機12和機外處理子系統(tǒng)14之間的電通信。這樣，可以通過云計算平臺訪問機外ISP?16，這增加了ISP的可訪問性。因此，可以經(jīng)由數(shù)字相機在數(shù)字相機12具有到因特網(wǎng)的連通性的任何位置訪問機外ISP?16。

通信模塊18，其包括在數(shù)字相機12中并配置為提供無線連通性到機外處理子系統(tǒng)14并且特別是機外ISP?16。將予以理解的是，通過一個或多個合適的通信平臺，諸如移動通信網(wǎng)絡(luò)（例如，3G、4G等）、藍(lán)牙、Wi-Fi等，可以實現(xiàn)無線連通性。進一步在一些示例中，通信模塊18可以包括應(yīng)用編程接口（API）。機外處理子系統(tǒng)14還可包括通信模塊20以使能電通信。然而，在其他實施例中，機外處理子系統(tǒng)14的電通信功能性可以集成到機外ISP?16內(nèi)。