[發明專利]圖像處理方法及其裝置、存算一體芯片和電子設備

在審

• 申請號: 202111312707.2
• 申請日: 2021-11-08
• 公開（公告）號: CN114049255A
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 成凱華
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T1/20
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 伍健聰

1.一種圖像處理方法，其特征在于，包括：

對待處理圖像進行分塊以獲取N個初始圖像塊，所述N為大于1的整數；

分別對各所述初始圖像塊進行投影，以分別獲取各所述初始圖像塊對應的M個圖像特征向量，所述M為大于1的整數；

根據預設規則將M×N個所述圖像特征向量傳輸至存算陣列，以使所述存算陣列對接收到的所述圖像特征向量進行矩陣乘加運算，以獲取N個與對應初始圖像塊一一對應的融合特征向量；

根據N個所述融合特征向量進行重建以生成目標圖像。

2.根據權利要求1所述的圖像處理方法，其特征在于，所述分別對各所述初始圖像塊進行投影，以分別獲取各所述初始圖像塊對應的M個圖像特征向量，包括：

基于三個不同的投影矩陣分別對各所述初始圖像塊進行投影，以分別獲取各所述初始圖像塊對應的第一特征向量、第二特征向量和第三特征向量；

所述根據預設規則將M×N個所述圖像特征向量傳輸至存算陣列，以使所述存算陣列對多個所述圖像特征向量進行矩陣乘加運算，以獲取N個與對應初始圖像塊一一對應的融合特征向量，包括：

將N個所述第一特征向量和N個所述第二特征向量分別傳輸至所述存算陣列進行矩陣乘加運算，以分別獲取各所述初始圖像塊對應的注意力權重矩陣；

分別將各所述初始圖像塊對應的所述注意力權重矩陣和所述第三特征向量傳輸至所述存算陣列進行矩陣乘加運算，以獲取N個與對應初始圖像塊一一對應的融合特征向量。

3.根據權利要求2所述的圖像處理方法，其特征在于，所述存算陣列包括至少N個第一存算器件，所述注意力權重矩陣包括N個所述注意力權重值，第i個所述初始圖像塊對應的融合特征向量的獲取方式，包括：

將第i個所述初始圖像塊的N個注意力權重值分別一一對應存儲至N個所述第一存算器件；

分別將N個所述初始圖像塊的第三特征向量一一對應傳輸至N個所述第一存算器件；

根據所述存算陣列輸出的信號獲取第i個所述初始圖像塊的所述融合特征向量。

4.根據權利要求2所述的圖像處理方法，其特征在于，第i個所述初始圖像塊對應的所述注意力權重矩陣的獲取方式，包括：

獲取第i個所述初始圖像塊的第一特征向量分別與各所述初始圖像塊的第二特征向量的第一點積和，1≤n≤N，且所述n為整數；

對第i個所述初始圖像塊的N個所述第一點積和進行歸一化，并根據歸一化后的所述第一點積和獲取第i個所述初始圖像塊的注意力權重矩陣。

5.根據權利要求4所述的圖像處理方法，其特征在于，所述存算陣列包括至少m個第二存算器件，所述第一特征向量包括m個第一特征值，所述第二特征向量包括m個第二特征值，所述m≥2，且m為整數，第i個所述初始圖像塊對應的多個第一點積和的獲取方式，包括：

將第i個所述初始圖像塊的m個第一特征值分別一一對應存儲至m個第二存算器件；

分別將各所述初始圖像塊的m個第二特征向量一一對應傳輸至m個所述第二存算器件；

根據所述存算陣列輸出的信號獲取第i個所述初始圖像塊對應的第一點積和。

6.根據權利要求4所述的圖像處理方法，其特征在于，所述對第i個所述初始圖像塊的N個所述第一點積和進行歸一化，包括：

對第i個所述初始圖像塊的N個所述第一點積和進行最值歸一化；

對所述最值歸一化后的N個所述第一點積和進行指數函數歸一化。

7.根據權利要求1所述的圖像處理方法，其特征在于，所述根據多個所述融合特征向量進行重建以生成目標圖像，包括：

根據各所述融合特征向量分別生成對應的融合圖像塊；

通過多層感知機分別對各所述融合圖像塊進行處理以生成感知圖像塊；

對多個所述感知圖像塊進行折疊以獲取感知圖像；

對所述感知圖像進行上采樣，以獲取所述目標圖像。