[發明專利]一種CMOS圖像傳感器內的卷積運算電路

有效

• 申請號: 202010625859.7
• 申請日: 2020-07-01
• 公開（公告）號: CN111669527B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 黃科杰;宋瑞冰;沈海斌
• 申請（專利權）人: 浙江大學
• 主分類號: H04N5/374
• 分類號: H04N5/374;H04N5/378
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種CMOS圖像傳感器內的卷積運算架構。具有作為實現感光和乘加運算的基本單元的像素內電路、由基本單元組成的用于實現陣列卷積運算的像素陣列電路；一基本單元控制圖像一像素，基本單元的一組元件代表圖像像素一通道，用卷積核一像素一通道的權重值控制一基本單元中一元件PMOS晶體管的導通時間；通過元件中的PMOS晶體管切換導通控制電容的充放電，進而控制各組元件電容電壓，實現單像素運算控制。本發明能在感光同時完成卷積神經網絡第一層運算，并將第一層運算結果轉化為數字信號進行輸出，減少后續計算的能耗，具有高動態范圍、高幀率、低功耗、支持可變卷積運算參數等特點。

技術領域

本發明公開了一種CMOS圖像傳感器的卷積運算架構，特別涉及了一種能完成卷積神經網絡第一層卷積運算的CMOS圖像傳感器的卷積運算架構。

背景技術

在圖像領域，隨著卷積神經網絡(CNN)等機器學習技術的不斷發展，目標檢測、人臉識別等應用逐漸成熟，各種機器視覺感知系統被提出。在多數應用場景中，機器視覺系統都需要長時間持續拍攝和工作，對功耗要求很嚴格，尤其是使用電池供電的設備，如野外監控設備、可穿戴設備等。然而，這些系統的功耗問題尚未得到好的解決。一方面，深度學習算法往往具有較高的計算量需求，使其計算功耗居高不下。另一方面，傳統的圖像傳感器是為了獲得更高分辨率的圖像而設計的，其需要高能耗的模擬讀出電路，這同樣是機器視覺系統能源效率提升的一個重要瓶頸。

采用CNN進行運算的機器視覺系統可以分為兩個主要部分，起感知作用的 CMOS圖像傳感器(CIS)，以及起運算功能的計算模塊。由于卷積運算的計算量高，出于效率與資源兩方面的原因，很多終端物聯網設備只能將運算數據送往云端服務器進行計算，這樣的數據傳輸過程中又產生了額外的能量損耗，且產生了具有數據安全性等多方面的附加問題。為此，需要研究新的硬件架構和算法來同時滿足信息的獲取、處理和分析等多方面的要求。傳感器內計算是解決該問題的有效方法之一。

已有的研究在CIS性能優化及卷積硬件加速等方面已經取得了非常多的突破，近年來，在傳感器和視覺分析硬件集成上也出現了許多創新和改進。如將傳感器與片上的深度學習加速器集成在一起、在傳感器內直接進行模擬卷積運算等，對于系統的性能都帶來了很大的提升。然而，這些研究仍然沒有充分的利用圖像傳感器本身的特性，作為光電轉換的接口，像素陣列本身就具有模擬存儲的功能，并具有完成簡單運算的條件。

發明內容

為了充分利用CIS的特性，減少機器視覺系統中CIS模擬讀出及卷積運算的功耗，本發明提出了一種基于CNN的雙模傳感器內計算架構，其具有計算模式和傳統模式。

本發明在計算模式下，其能在傳感器內部完成CNN的第一層卷積運算，大幅降低傳感器輸出數據密度，從而減小模擬輸出功耗。其具有基于脈沖寬度控制和電荷重分配原理實現的乘加運算操作電路，權重以脈沖寬度的形式與像素電流相乘，從而減少了數據移動的能耗。當在計算模式下檢測到前景發生變化時或其他用戶指定的情況下，可以切換到全高清模式，如普通CIS一樣進行工作，輸出全高清圖像。

為了實現上述目的，本發明采用的技術方案如下：

具有作為實現感光和乘加運算的基本單元的像素內電路；

具有主要由若干上述基本單元組成的用于實現陣列卷積運算的像素陣列電路。

如圖4所示，所述的基本單元，主要由PMOS晶體管RST及完全相同的四組元件組成，四組元件結構相同，第一組元件包括用于控制讀出的PMOS晶體管RD1、用于控制曝光時間的PMOS晶體管W1、用于感光的光電二極管D1和用于存儲電荷的電容C1，光電二極管D1的1腳與PMOS晶體管W1的2腳相連，PMOS晶體管W1的1腳、PMOS晶體管RD1的2腳均和電容C1的1腳相連，光電二極管D1的2腳和電容C1的2腳接地；