[發明專利]圖像處理方法、電子裝置及芯片

在審

• 申請號: 202211414792.8
• 申請日: 2022-11-11
• 公開（公告）號: CN115620109A
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 歐俊宏;趙娟萍;胡欣
• 申請（專利權）人: 哲庫科技（上海）有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 姚璐;吳素花

1.一種圖像處理方法，其特征在于，所述方法包括：

構建神經網絡模型；其中，所述神經網絡模型包括骨架網絡和特征融合網絡；

基于預設骨架網絡搜索空間和預設特征融合網絡搜索空間，對所述神經網絡模型進行交替式可微分架構搜索訓練，獲得圖像處理模型；

利用所述圖像處理模型對待處理圖像進行圖像處理。

2.根據權利要求1所述的方法，其特征在于，所述圖像處理模型還包括分割網絡，所述對所述神經網絡模型進行交替式可微分架構搜索訓練，包括：

基于預設骨架網絡結構在所述預設骨架網絡搜索空間中進行可微分架構搜索訓練，獲得目標骨架網絡；

在所述分割網絡和所述目標骨架網絡的基礎上，利用所述預設特征融合網絡搜索空間進行可微分架構搜索訓練，確定目標特征融合網絡，以完成所述交替式可微分架構搜索訓練。

3.根據權利要求2所述的方法，其特征在于，所述基于預設骨架網絡結構在所述預設骨架網絡搜索空間中進行可微分架構搜索訓練，獲得目標骨架網絡，包括：

基于預設骨架網絡結構在所述預設骨架網絡搜索空間中進行可微分架構搜索訓練，獲得骨架網絡的模型參數；

根據所述預設骨架網絡結構和所述骨架網絡的模型參數確定所述目標骨架網絡。

4.根據權利要求2所述的方法，其特征在于，所述利用所述預設特征融合網絡搜索空間進行可微分架構搜索訓練，確定目標特征融合網絡，包括：

基于所述預設特征融合網絡搜索空間進行可微分架構搜索訓練，獲得所述特征融合網絡的模型參數和多尺度特征圖的拓撲結構；

根據所述特征融合網絡的模型參數和所述多尺度特征圖的拓撲結構確定所述目標特征融合網絡。

5.根據權利要求2-4任一項所述的方法，其特征在于，所述方法還包括：

基于訓練數據集進行所述交替式可微分架構搜索訓練，獲得損失函數；其中，所述損失函數包括硬件反饋損失函數；所述硬件反饋損失函數用于衡量硬件響應的速度；

根據所述損失函數進行反向傳播更新處理，以確定所述圖像處理模型。

6.根據權利要求5所述的方法，其特征在于，所述基于訓練數據集進行所述交替式可微分架構搜索訓練，獲得損失函數，包括：

使用所述骨架網絡對訓練數據集中的原始圖像進行下采樣處理，獲得多個不同尺度的第一特征圖；

使用所述特征融合網絡對所述多個不同尺度的第一特征圖進行特征融合處理，獲得第二特征圖；

將所述第二特征圖輸入所述分割網絡，獲得第三特征圖，并根據所述第三特征圖確定所述損失函數。

7.根據權利要求6所述的方法，其特征在于，所述分割網絡包括實例分支和掩碼分支；所述將所述第二特征圖輸入所述分割網絡，獲得第三特征圖，并根據所述第三特征圖確定所述損失函數，包括：

將所述第二特征圖輸入至所述實例分支的卷積層，確定第一實例激活圖，并基于所述第一實例激活圖確定矩陣掩碼、實例類別以及類別置信度；

將所述第二特征圖輸入至所述掩碼分支的卷積層，確定第一掩碼特征；

根據所述矩陣掩碼和所述第一掩碼特征確定所述第三特征圖；

根據所述第三特征圖、所述實例類別以及所述類別置信度確定所述損失函數。

8.根據權利要求7所述的方法，其特征在于，所述根據所述第三特征圖、所述實例類別以及所述類別置信度確定所述損失函數，包括：

基于所述第三特征圖、所述實例類別以及所述類別置信度進行二分圖匹配，確定所述損失函數。

9.根據權利要求5所述的方法，其特征在于，所述損失函數還包括聚焦損失函數，掩碼損失函數以及感知對象的二值交叉熵損失函數。