[發明專利]圖像特征提取方法、裝置以及計算機可讀存儲介質

有效

• 申請號: 202110292039.5
• 申請日: 2021-03-18
• 公開（公告）號: CN113010469B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 李連煌;梁俊文
• 申請（專利權）人: 恒睿（重慶）人工智能技術研究院有限公司
• 主分類號: G06V10/94
• 分類號: G06V10/94;G06V10/40;G06V10/82;G06V10/77;G06N3/0464;G06N3/063
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 屠曉旭;宋寶庫

1.一種圖像特征提取方法，其特征在于，所述方法包括：

獲取基于神經網絡的圖像特征提取模型，根據所述圖像特征提取模型中每個神經網絡層的算子生成FPGA的配置文件；

根據所述配置文件對所述FPGA進行配置，以在所述FPGA上形成多個能夠分別模擬每個所述算子運算的算子處理模塊并且使輸入圖像的行數據以數據流的形式按照每個所述算子在所述圖像特征提取模型中的先后運算順序依次傳輸至每個所述算子對應的算子處理模塊；

利用配置后的FPGA對待識別圖像進行特征提取；

其中，每個所述算子處理模塊分別被配置成對各自輸入的多個所述行數據進行并行特征提取。

2.根據權利要求1所述的圖像特征提取方法，其特征在于，在“根據所述圖像特征提取模型中每個神經網絡層的算子生成FPGA的配置文件”的步驟之前，所述方法還包括：

分別對每個所述算子的算子參數進行低比特量化處理和/或對多個所述神經網絡層的算子進行算子融合；

并且/或者，

所述方法還包括通過下列方式分別存儲每個神經網絡層的算子參數：

判斷當前神經網絡層的算子參數的比特數是否小于等于預設的比特數閾值；若是，則將所述當前神經網絡層的算子參數存儲至所述FPGA的片上內存；若否，則將所述當前神經網絡層的算子參數存儲至預設的外部存儲器。

3.根據權利要求1所述的圖像特征提取方法，其特征在于，“根據所述配置文件對所述FPGA進行配置”的步驟具體包括：

獲取所述配置文件中每個所述神經網絡層中算子的算子參數；

根據所述算子參數的比特數與預設的比特數閾值的比較結果，對所述神經網絡層進行分類，以形成第一類型的神經網絡層和第二類型的神經網絡層，其中，所述第一類型的神經網絡層中算子參數的比特數小于等于所述預設的比特數閾值，所述第二類型的神經網絡層中算子參數的比特數大于所述預設的比特數閾值；

根據所述算子參數對所述FPGA中的LUT查找表進行配置，以基于所述LUT查找表形成多個第一算子處理模塊，每個所述第一算子處理模塊分別被配置成模擬每個所述第一類型的神經網絡層的算子運算；

根據所述算子參數對所述FPGA中的DSP處理器進行配置，以基于所述DSP處理器形成多個第二算子處理模塊，每個所述第二算子處理模塊分別被配置成模擬每個所述第二類型的神經網絡層的算子運算。

4.根據權利要求3所述的圖像特征提取方法，其特征在于，所述第二算子處理模塊被進一步配置成使用多個所述DSP處理器分別對所述輸入圖像的多個行數據進行并行特征提取。

5.一種圖像特征提取裝置，其特征在于，所述裝置包括：

配置文件生成模塊，其被配置成獲取基于神經網絡的圖像特征提取模型，根據所述圖像特征提取模型中每個神經網絡層的算子生成FPGA的配置文件；

FPGA配置模塊，其被配置成根據所述配置文件對所述FPGA進行配置，以在所述FPGA上形成多個能夠分別模擬每個所述算子運算的算子處理模塊并且使輸入圖像的行數據以數據流的形式按照每個所述算子在所述圖像特征提取模型中的先后運算順序依次傳輸至每個所述算子對應的算子處理模塊；

特征提取模塊，其被配置成利用配置后的FPGA對待識別圖像進行特征提取；

其中，每個所述算子處理模塊分別被配置成對各自輸入的多個所述行數據進行并行特征提取。

6.根據權利要求5所述的圖像特征提取裝置，其特征在于，所述配置文件生成模塊包括模型壓縮單元和配置文件生成單元；所述模型壓縮單元被配置成分別對每個所述算子的算子參數進行低比特量化處理和/或對多個所述神經網絡層的算子進行算子融合；所述配置文件生成單元被配置成對根據所述模型壓縮單元壓縮后的圖像特征提取模型生成FPGA的配置文件；

所述FPGA配置模塊包括參數存儲配置單元，所述參數存儲配置單元被配置成通過下列方式分別存儲每個神經網絡層的算子參數：

判斷當前神經網絡層的算子參數的比特數是否小于等于預設的比特數閾值；若是，則將所述當前神經網絡層的算子參數存儲至所述FPGA的片上內存；若否，則將所述當前神經網絡層的算子參數存儲至預設的外部存儲器。