[發明專利]基于圖像處理的Depthwise快速卷積系統及圖像識別方法

在審

• 申請號: 202010035427.0
• 申請日: 2020-01-14
• 公開（公告）號: CN111260598A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 李鋼;周歡歡;張旸
• 申請（專利權）人: 中國科學院自動化研究所南京人工智能芯片創新研究院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 竇賢宇

1.一種基于圖像處理的Depthwise快速卷積系統，其特征在于，包括圖像像素讀取單元和DW卷積計算單元，通過以行作為數據單位與卷積核進行運算實現圖像卷積，可以減少重復讀取存儲單元的過程；

圖像像素讀取單元，以H、W和D三個維度對圖像中每一組像素進行標注，將待處理的圖像存儲到存儲單元中，根據計算并行度先考慮D維度，再H維度，最后是W維度；

DW卷積計算單元，按行對圖像數據進行讀取后，每一行圖像數據都要與三行的卷積核進行乘累加計算，直至完成所有圖像數據行的計算，最終通過像素與對應卷積核乘積的累加得到最終的卷積結果。

2.根據權利要求1所述的一種基于圖像處理的Depthwise快速卷積系統，其特征在于，所述DW卷積計算單元將待處理的圖像數據獲取之后，按行與三層卷積核分別進行乘累加運算，具體步驟為：

步驟1、選取卷積核，在W維度和H維度組成的平面上從地址1開始取3*3的像素組作為Weight層；

步驟2、完成圖像數據組的第一行與三層卷積核數據組的計算；

步驟21、由于卷積核是3*3的組成，所以一次進行三個圖像數據與三個卷積核數據的對應計算，以此類推，第一行數據與第一行卷積核數據計算后得出數據組為DW00，具體為：p1*w1+p2*w2+p3*w3，p2*w1+p3*w2+p4*w3，p3*w1+p4*w2+p5*w3······直到完成該行每一個數據乘累加運算；

步驟22、進行第一行數據與第二行卷積核數據的計算，得出數據組為DW01，具體為：p1*w9+p2*w10+p3*w11，p2*w9+p3*w10+p4*w11，p3*w9+p4*w10+p5*w11······直到完成該行每一個數據乘累加運算；

步驟23、進行第一行數據與第三行卷積核數據的計算，得出DW02，具體為：p1*w17+p2*w18+p3*w19，p2*w17+p3*w18+p4*w19，p3*w17+p4*w18+p5*w19······直到完成該行每一個數據乘累加運算；

其中，p1為圖像數據組的第一個數據，p2為圖像數據組的第二個數據， p3為圖像數據組的第三個數據，p4為圖像數據組的第四個數據， p5為圖像數據組的第五個數據，w1、w2、w3、w9、w10、w11、w17、w18、w19分別是卷積核數據組的9個數據；

步驟3、仿照步驟2，繼續完成圖像數據組其余行與卷積核的乘累加過程，直至圖像數據組的所有數據均參與過運算；

步驟4、為了保證圖像數據組的9個像素與卷積核的9個參數對應的乘積可以進行累加，在每行圖像數據組的數據與卷積核的三行計算結果得出后，下一行計算得出的結果在累加時，整體移位，以同上一行的計算結果相對應，從而得到最終的卷積結果。

3.根據權利要求1所述的一種基于圖像處理的Depthwise快速卷積系統，其特征在于，所述DW卷積計算單元需要兩個緩沖存儲區進行數據暫存、計算和結果輸出，具體計算過程為：

步驟1、輸入兩塊存儲區，Buffer A和Buffer B；

步驟2、通過做乘積的累加獲得卷積結果；

步驟21、使用緩沖存儲區Buffer B寫入DW00的數據；

步驟22、使用Buffer A寫入DW10的數據；同時，讀取Buffer B中的DW00后，與DW11相加后寫入Buffer B中；

步驟23、讀取Buffer B中存儲的DW00+DW11，加上當前行計算結果DW22后，輸出第一個卷積計算結果；往Buffer B中繼續存儲計算結果DW20；與此同時，讀取Buffer A中的DW10，加上當前計算結果DW21后寫回Buffer A中；

步驟3、交替以計算第二行和第三行的計算存儲方式，計算出所有行的卷積計算結果。

4.根據權利要求1所述的一種基于圖像處理的Depthwise快速卷積系統，其特征在于，所述DW卷積計算單元提高了圖像存儲和計算的利用率，減少了對像素組數據讀取的重復率，減輕了圖像卷積的資源消耗。

5.一種快速圖像識別方法，其特征在于，在需要快速進行圖像處理的場景中，為了減輕機器學習或者神經網絡計算的工作量，快速完成圖像識別的要求，得到較好的圖像處理結果，使用權利要求1至4任一項所述的Depthwise快速卷積系統對圖像數據進行快速存儲，具體步驟為：

步驟1、判斷使用場景對圖像卷積的質量和速度的要求，確認符合快速處理的場景設定；

步驟2、使用Depthwise快速卷積系統對圖像數據進行快速存儲；

步驟3、進一步反復讀取圖像像素完成圖像卷積和進一步的圖像處理。