[發(fā)明專利]基于攝像頭圖像處理芯片的圖像增強(qiáng)處理系統(tǒng)及處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201110253310.0
• 申請(qǐng)日: 2011-08-30
• 公開（公告）號(hào): CN102956027A
• 公開（公告）日: 2013-03-06
• 發(fā)明（設(shè)計(jì)）人: 蔡寧寧;劉濟(jì)凌;胡勝發(fā)
• 申請(qǐng)（專利權(quán)）人: 安凱（廣州）微電子技術(shù)有限公司
• 主分類號(hào): G06T1/00
• 分類號(hào): G06T1/00;G06T5/00
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 李贊堅(jiān);曹志霞

技術(shù)領(lǐng)域

本發(fā)明屬于芯片設(shè)計(jì)領(lǐng)域，尤其涉及大尺寸圖像處理的控制方法、裝置及系統(tǒng)，具體來說是一種基于攝像頭圖像處理芯片的圖像增強(qiáng)處理系統(tǒng)及處理方法。

背景技術(shù)

主流的CMOS/CCD圖像傳感器(sensor)在采集大尺寸圖像的數(shù)據(jù)傳輸格式一般都是Bayer?Raw?RGB格式，如圖1所示，這種數(shù)據(jù)格式的特點(diǎn)是一個(gè)像素點(diǎn)只有一個(gè)顏色分量(R、G或B)的信息，之后通過插值等算法得到完整的RGB像素；同時(shí)，圖像在采集的過程中也會(huì)引入一些噪聲，包括鏡頭的壞點(diǎn)等。在攝像頭圖像信號(hào)處理芯片ISP(image?signal?processor)中，需要對(duì)原始采集的圖像做增強(qiáng)處理，系統(tǒng)結(jié)構(gòu)如圖2所示。

在圖像增強(qiáng)處理的過程中，很多處理算法都是基于目標(biāo)象素點(diǎn)為中心的N×M塊進(jìn)行處理，利用當(dāng)前插值像素點(diǎn)周圍的點(diǎn)來插值，濾波。

例如在做顏色插值處理的時(shí)候，塊大小為7×7，而sensor傳輸數(shù)據(jù)都是一個(gè)個(gè)點(diǎn)水平逐行掃描進(jìn)來。因此圖像處理芯片在流水結(jié)構(gòu)上，本地總共至少需要保存8行(line?n-1～line?n+6)的數(shù)據(jù)量，7行做運(yùn)算，1行做緩沖進(jìn)行滾動(dòng)處理.所述緩存由原始幀長(zhǎng)度frame_size決定，具體如圖5a所示。

這樣的memory開銷對(duì)于小尺寸的圖像處理芯片來說是可以接受的，但對(duì)于目前多則上千萬的分辨率，每級(jí)塊處理上都需要存儲(chǔ)塊高度+1行的數(shù)據(jù)的話，那么3～4級(jí)處理芯片，動(dòng)則需要幾百K的緩存，對(duì)于低高芯片來說，成本難以接受。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供基于攝像頭圖像處理芯片的圖像增強(qiáng)處理系統(tǒng)及處理方法，可以有效減小芯片緩存的大小。

為解決以上技術(shù)問題，本發(fā)明提供的技術(shù)方案是，一種基于攝像頭圖像信號(hào)處理芯片的圖像增強(qiáng)處理系統(tǒng)，包括圖像傳感器、同步接收模塊、系統(tǒng)內(nèi)存、本地緩存及圖像處理器，還包括幀重構(gòu)模塊，用于根據(jù)后級(jí)處理能力，將一大尺寸原始圖像幀按照列的方向進(jìn)行分割，形成若干小尺寸圖像幀；全部小尺寸圖像幀依次由圖像處理器按照預(yù)設(shè)算法進(jìn)行處理，且處理好的全部小尺寸圖像幀由圖像處理器拼回一完整的大尺寸增強(qiáng)圖像幀。

較優(yōu)地，每一小尺寸圖像幀重構(gòu)同步信號(hào)，得到虛擬幀；每一虛擬幀下載到本地緩存，以提供給圖像處理器進(jìn)行后續(xù)處理。

在此基礎(chǔ)上，本發(fā)明還提供一種基于攝像頭圖像信號(hào)處理芯片的圖像增強(qiáng)處理方法，包括：

根據(jù)后級(jí)處理能力，將一大尺寸原始圖像幀按照列的方向進(jìn)行分割，形成若干小尺寸圖像幀；

按照預(yù)設(shè)算法，依次處理全部小尺寸圖像幀；

將處理好的全部小尺寸圖像幀拼回一完整的大尺寸增強(qiáng)圖像幀。

較優(yōu)地，相鄰小尺寸圖像幀部分重疊。

較優(yōu)地，對(duì)每個(gè)小尺寸圖像幀重構(gòu)同步信號(hào)，構(gòu)成獨(dú)立的虛擬幀。

較優(yōu)地，將每一虛擬幀下載到本地緩存之中，以便進(jìn)行后續(xù)處理。

較優(yōu)地，對(duì)于每一虛擬幀，將各行數(shù)據(jù)下載到本地緩存之中，并逐次取一行數(shù)據(jù)作緩沖以進(jìn)行滾動(dòng)處理；其中，對(duì)于當(dāng)前處理行數(shù)據(jù)，按像素點(diǎn)依次進(jìn)行。

較優(yōu)地，在系統(tǒng)內(nèi)存中依次處理全部小尺寸圖像幀，并將處理好的全部小尺寸圖像幀拼回完整大尺寸增強(qiáng)圖像幀。

較優(yōu)地，大尺寸原始圖像幀上傳到系統(tǒng)內(nèi)存。

較優(yōu)地，在完成上傳第一幀小尺寸圖像幀后，同時(shí)啟動(dòng)系統(tǒng)內(nèi)存DMA上傳通道與下載通道。

與現(xiàn)有技術(shù)相比，本發(fā)明在對(duì)大尺寸圖像進(jìn)行虛擬幀重構(gòu)后進(jìn)行處理，最大的有益效果是可以減少模塊級(jí)緩存buffer的大小，由此大大縮小芯片面積，降低芯片設(shè)計(jì)成本。其次可以讓sensor的采集圖像速度和ISP的處理圖像速度之間更加兼容匹配，這是因?yàn)樗械臄?shù)據(jù)都是先上傳到系統(tǒng)內(nèi)存，只需要在合適的時(shí)候啟動(dòng)DMA上傳通道和DMA下載通道，就可以使兩者之間很好地匹配。

附圖說明

圖1是CMOS/CCD圖像傳感器所得到圖像的數(shù)據(jù)格式；

圖2是現(xiàn)有基于攝像頭圖像處理芯片的圖像增強(qiáng)處理系統(tǒng)的結(jié)構(gòu)示意圖；

圖3是本發(fā)明基于攝像頭圖像處理芯片的圖像增強(qiáng)處理系統(tǒng)的結(jié)構(gòu)示意圖；

圖4是本發(fā)明虛擬幀劃分示意圖；

圖5a是現(xiàn)有處理方法所需緩存的示意圖；

圖5b是本發(fā)明處理方法所需緩存的示意圖；

圖6是本發(fā)明基于攝像頭圖像處理芯片的圖像增強(qiáng)處理方法一較優(yōu)實(shí)施例的流程圖；

圖7a是原始幀圖像輸入接口時(shí)序圖；

圖7b是本發(fā)明虛擬幀重構(gòu)后的圖像輸入接口時(shí)序圖。

具體實(shí)施方式