[發明專利]一種實現卷積計算的焦平面探測器讀出電路

有效

• 申請號: 202110607345.3
• 申請日: 2021-06-01
• 公開（公告）號: CN113489925B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 范廣宇
• 申請（專利權）人: 中國科學院上海技術物理研究所
• 主分類號: H04N5/369
• 分類號: H04N5/369;H01L27/146
• 代理公司: 上海滬慧律師事務所 31311
• 代理人: 郭英

本發明公開了一種實現卷積計算的焦平面探測器讀出電路，其特點在于利用光敏元所對應的積分電容取不同的電容值并結合和差電路的輸入電阻實現卷積核的權重，根據卷積核定義將相應像素積分電容的積分電壓利用和差電路實現求和，則和差電路輸出值為像素值與卷積核權重的乘加運算，從而實現了圖像的卷積運算。在此方案中，積分電容即是感應器件的一部分，也是實現計算功能的器件，是實現感算一體的元件，該方案與將積分信號數字化后再進行數字的乘加運算相比，具有更快的運算速度和極低的計算功耗開銷，從而提高神經網絡電路的能效。

技術領域

本發明涉及智能焦平面探測器的讀出電路設計方法，具體是一種實現卷積計算的焦平面探測器讀出電路，它實現所探測圖像的卷積運算，適合基于深度學習的人工智能算法在焦平面探測器內的部署，可以達到更高的能效。

背景技術

基于神經網絡的深度學習算法由于其在眾多領域取得了很好的應用效果，目前已成為人工智能的主流算法，圖像處理是其重要的應用領域，已在圖像分類與定位、人臉識別等方面被廣泛采用。在云端主要進行的是神經網絡訓練工作及推理工作，而邊緣設備的部署主要是利用訓練好的網絡進行推理。由于邊緣測設備多為嵌入式系統，因而能耗就成為能否成功部署的一個重要因素，為達到較高的能效，網絡壓縮等算法以及硬件加速等方法被廣發采用。

焦平面探測器作為重要的成像傳感器，將神經網絡部署于焦平面讀出電路當中，從而實現探測器智能化，可極大的拓展其應用范圍，目前適用于圖像處理的主要是卷積神經網絡，該網絡由多層的卷積層、池化層及后續輸出層組成，尤其是輸入層的卷積運算量最大，片內集成神經網絡如采用傳統方案，則需要首先將每個光敏元信號進行數字化，然后進行卷積運算，卷積運算需要占用大量計算資源。

感算一體是提高能效的重要方法，焦平面讀出電路中信號的讀出均是采用積分電容將信號電荷轉換為電壓信號，因而其作為“感”的組成部分，同時電壓與信號的對應關系由積分電容的決定，因而通過電容值可實現信號的乘法計算，因而可將其作為實現感算一體的器件，在幾乎不增加額外時延及功耗的情況實現信號的與卷積核的乘法計算。和差電路中輸入電阻也會影響卷積運算的權值，可進一步結合網絡壓縮及網絡參數的量化實現神經網絡的低功耗運行。

發明內容

針對傳統的光敏元信號數字化后進計算的方案存在的運算量及電路功率消耗大的問題，本發明的目的在于提供一種利用讀出電路積分電容作為實現卷積運算的器件的讀出電路設計，在不顯著增加額外運算的情況下實現圖像信號的卷積運算，從而提高神經網絡部署的能效，以達到神經網絡低功耗部署的目標。