[發明專利]超分辨率智能圖像傳感器芯片

有效

• 申請號: 201510364819.0
• 申請日: 2015-06-26
• 公開（公告）號: CN104967796B
• 公開（公告）日: 2018-12-11
• 發明（設計）人: 嚴媚
• 申請（專利權）人: 武漢智慧城市研究院股份有限公司
• 主分類號: H04N5/374
• 分類號: H04N5/374;H04N5/378
• 代理公司: 北京遠大卓悅知識產權代理事務所(普通合伙) 11369
• 代理人: 張云花

本發明公開了一種超分辨率智能圖像傳感器芯片，其包括一個單幀超分辨率數字圖像處理模塊，其通過雙線性插值法將緩存在其中的低分辨率圖像的圖像數據小陣列N_a，b擴展為圖像數據大陣列N_pa，pb，以獲得超分辨率圖像，擴展的具體方法為：對小陣列中的任一個數據N_i，j，根據其緊鄰數據N_i，j+1、N_i+1，j和N_i+1，j+1，多次使用雙線性插值法均勻插入另外pp?1個數據，將N_i，j擴展成一個p×p陣列，并輸出，依次擴展小陣列中的所有數據，并輸出，得到大陣列；其中，a、b、i和j均為正整數，p為大于1的正整數。本發明的傳感器具有較大的像素尺寸，并通過硬件實現雙線性插值算法，因而兼具高靈敏度和超分辨率。

技術領域

本發明是基于超分辨率智能算法的圖像傳感器芯片，主要適用于監控，醫療等智能硬件應用領域。

背景技術

圖像傳感器是將一種新型的將光學圖像轉換成電信號的電子成像器件，主要應用包括手機，照相機，攝像機，監控和生物醫學等各個領域。目前，市場上主要有兩種類型的傳感器，電荷耦合器件(CCD)和互補金屬氧化物半導體的(CMOS)有源像素傳感器。由于CMOS圖像傳感器是可以通過生產電腦和計算機的大規模集成電路CMOS工藝來制造，具有成本低，體積小，高速，低功耗和易于集成的優點，因此迅速占領了電子成像器件的市場并得到了突飛猛進的發展。

目前圖像傳感器產品的主要發展方向是通過增加圖像分辨率以提高圖像的質量，通常工業界的解決方案是通過減少像素尺寸(1微米)不斷增加傳感器的像素數目(1500萬)，但減少像素尺寸(即感光面積)就會影響到圖像的質量。對于任何一種特定的生產工藝和像素結構，縮小像素尺寸將影響像素性能，包括限制感光動態范圍，降低填充因子，減弱光敏感性，增大暗電流噪聲，以及影響成像非均勻性等。為了克服由于減少圖像傳感器尺寸對成像性能的影響，工業界通過生產工藝的創新與改進，包括背部照明技術，微透鏡集成，pin光電二極管，雙柵極氧化物，圖像讀取電路設計優化等方法不斷提高圖像傳感器性能，然而這些技術革新通常需要巨額(高達數十億美元)研發投入，而且由于物理極限約束，像素工藝改良并不能無限制提高像素的性能。有些還可以通過控制圖像傳感器的運行(如延長像素曝光時間)來補償感光性能的降低，但長曝光時間積累的暗電流會嚴重影響圖像質量，而且成像的速度也將受影響。

另外一種成本低廉的可行性解決方案是通過圖像處理軟件優化圖像質量，即維持像素的現有尺寸以保證良好的感光性能，同時通過多幀的超分辨率算法可以從系統的角度提高圖像的分辨率。該算法的基本原理是利用疊加幾幀圖像的時間信息，克服空間像素大小限制，從而改善圖像的空間信息(即增大分辨率)。但是目前常用的方式是在芯片外部用FPGA進行超分辨率算法的運算，由于受到芯片之間數據傳輸速度和數據量的限制，因此在智能高速圖像傳感器應用中受到極大的限制。

發明內容

本發明的一個目的是解決至少上述問題和/或缺陷，并提供至少后面將說明的優點。

本發明還有一個目的是提供一種超分辨率智能圖像傳感器芯片，其傳感器具有較大的像素尺寸，而且通過硬件實現雙線性插值算法，因而具有高速和高靈敏度，也具有超分辨率。

為了實現根據本發明的這些目的和其它優點，提供了一種超分辨率智能圖像傳感器芯片，其包括一個單幀超分辨率數字圖像處理模塊，所述單幀超分辨率數字圖像處理模塊通過雙線性插值法將緩存在其中的低分辨率圖像的圖像數據小陣列N_a，b擴展為圖像數據大陣列N_pa，pb，以獲得超分辨率圖像，擴展的具體方法為：