[發明專利]采用偽單元填充圖像傳感芯片進行首層卷積層處理的方法

在審

• 申請號: 202010610309.8
• 申請日: 2020-06-29
• 公開（公告）號: CN111860809A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 許晗;喬飛
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06T1/20;G06T1/60
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張睿

本發明實施例提供一種采用填充后圖像傳感芯片進行首層卷積層處理的方法，該方法包括：基于填充后圖像傳感芯片中新的焦平面的大小、首層卷積層中卷積核的個數和首層卷積層中卷積核的大小在所述新的焦平面上周期性的排列所述首層卷積層；采用新的焦平面對各處理單元中采集的圖像的各像素值進行處理，輸出對應的特征圖；其中，所述新的焦平面是在原始焦平面上采用偽處理單元填充使得卷積核可以均勻有規律地在新的焦平面上排列得到，偽處理單元僅包括用于保存卷積核權值的寄存器。本發明實施例提供的方法，實現了減少卷積處理的耗能和時間，并降低了控制復雜度。

技術領域

本發明涉及圖像傳感器芯片技術領域，尤其涉及一種采用偽單元填充圖像傳感芯片進行首層卷積層處理的方法。

背景技術

得益于卷積神經網絡(CNN)的發展，智能視覺處理任務的準確率性能獲得了極大的提升，如物體識別、語義分割等。在物聯網時代，面向智能視覺處理應用的設備廣泛地分布在終端，實現與用戶的無縫交互。為了不遺漏任何關鍵事件，一些用于智能視覺應用的設備需要以常開的模式工作，例如處于監視目的針對特定對象的檢測和識別。然而，這種連續感知需求巨大的能量開銷，這對于大多數電池驅動的設備非常不利。現有的傳統數字系統并不能夠滿足低功耗要求，問題在于需要將圖像從模擬域轉換并傳輸到數字域，而這消耗了大量的能量和帶寬。

傳感器內處理(PIS)概念的提出成為解決上述問題的可行辦法，圖1為現有技術提供的處理單元陣列構成焦平面的示意圖，如圖1所示，焦平面(Focal Plane)由處理單元(PE，Processing Element)陣列組成，感光并生成圖像，圖像分辨率由處理單元陣列大小決定，每個處理單元存儲一個像素點的像素值，因此，圖像的大小與處理單元陣列的大小相同。處理單元內集成了三個功能模塊，分別為：1、像素模塊，如圖1所示，像素模塊用Pixel標識，位于PE的左下方，用于接受光強并進行光電轉換，獲得的電壓值傳遞給計算模塊用于計算；2、數字寄存器，如圖1所示，數字寄存器用Digital Reg標識，位于PE的右下方，用于存儲CNN中的權值，此權值可以在PE內提供給計算模塊用于計算，也可以通過權值右移或下移傳遞到右邊相鄰或者下邊相鄰的PE內。PE陣列中的任一行中最后一個PE的寄存器輸出連接到所述任一行的第一個PE的輸入，因此權值在行間可以進行循環右移；同理，同列的寄存器也是首尾相連，權值在列間可以進行循環下移；3、計算模塊，如圖1所示，計算模塊用AnalogComputation Circuit標識，位于PE的上方，用于利用像素模塊產生的電壓值和寄存器內保存的權值進行乘累加等計算操作并產生計算結果，對于2×2卷積中的4個PE，各PE上的計算模塊也與其相鄰的PE上的計算模塊也相連接，當左上角的PE作為卷積結果輸出位置時，其他三個PE上像素模塊產生的電壓值和寄存器內保存的權值的乘積都會傳送到左上角的PE上，與左上角PE上像素模塊產生的電壓值和寄存器內保存的權值的乘積進行累加，作為卷積結果輸出，而卷積核中的任一PE所在的位置都可以作為卷積結果輸出位置，根據實際需要進行設置。除此之外，各處理單元還可以在相鄰范圍內進行任意規模的組合用以完成不同卷積核大小的計算。圖1展示了卷積核大小為2×2和3×3兩種情況。

根據卷積神經網絡的計算特點，單個卷積核內的權值需要在整張圖像上進行平移，通過由左至右、由上至下的方式遍歷焦平面的所有位置。同時，由于卷積神經網絡內有多個卷積核，因此卷積核需要同時平鋪在焦平面上。現有技術都是基于圖像傳感芯片內原始焦平面的大小進行首層卷積層包含的卷積核的排布，這種排布方式為直接調度，即重復最大次數的首層卷積層的卷積核以盡量占滿原始焦平面，保證原始焦平面上覆蓋的卷積核數量最多，計算的并行度最高，但是由于原始焦平面大小、首層卷積層包括的卷積核大小和首層卷積層包括的卷積核個數的不同，直接調度可能無法在原始焦平面上均勻、有規律地分布首層卷積層包含的卷積核，這就導致了一些冗余的卷積，同時由于一幀的卷積數與一幀的能量消耗和處理時間成正比，也浪費了大量的能量和時間；其次，在完成整個圖像幀的卷積后，需要幾個額外的移位來重新設置卷積核的分布，這增加了控制的復雜性。