[發明專利]一種面向嵌入式深度學習的超大尺寸圖像目標檢測方法及系統

有效

• 申請號: 202010003131.0
• 申請日: 2020-01-02
• 公開（公告）號: CN111191730B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 程陶然;白林亭;文鵬程;高澤;鄒昌昊;李欣瑤
• 申請（專利權）人: 中國航空工業集團公司西安航空計算技術研究所
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/26;G06T7/11
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 胡樂

本發明提出了一種面向嵌入式深度學習的超大尺寸圖像目標檢測方法及系統，包括：圖像預處理單元、目標檢測單元、圖像后處理單元。本發明提出的面向嵌入式深度學習的超大尺寸圖像目標檢測方法，面向嵌入式深度學習領域越來越多的超大尺寸圖像處理需求，針對嵌入式多核處理器運行深度神經網絡的局限性，基于分塊思想將單幅圖像分割為多幅圖像，從而實現單幅圖像的并行化目標檢測，再通過圖像后處理單元對檢測結果進行分析，將多幅檢測結果融為一體，有效解決嵌入式計算平臺處理效率低下的問題。

技術領域

本發明屬于智能計算領域，涉及一種面向嵌入式深度學習的超大尺寸圖像目標檢測方法。

背景技術

隨著深度學習技術的不斷發展，目標檢測、語義分割等基于深度學習的圖像處理算法取得了巨大的成功。然而，由于深度神經網絡結構復雜、參數眾多，使得深度學習算法在資源有限的嵌入式計算平臺上表現很差，往往只能處理一些小型圖像。對于大尺寸的遙感圖像或者富含細節信息的高清圖像，嵌入式深度學習算法處理效率十分低下。

為了提升嵌入式深度學習算法的處理效率，硬件廠商先后推出多款AI芯片，通過在硬件層面優化計算結構提高處理速度，并通過多核技術提高數據吞吐量。然而，由于深度神經網絡的高度互聯性，增加了算法模型處理單幅圖像的并行化計算難度。面向流媒體數據的實時處理要求，難以充分利用多核處理器的并行計算能力。

發明內容

本發明提出了一種面向嵌入式深度學習的超大尺寸圖像目標檢測方法，旨在實時高效處理超大尺寸圖像數據，完成目標的全面、準確檢測。

本發明提出的解決方案如下：

該面向嵌入式深度學習的超大尺寸圖像目標檢測方法，包括：

1)接收輸入圖像，按照像素點位置將圖像分割為多個子圖像，其中任意一個子圖像均與其相鄰的所有子圖像在靠近邊界的區域互相重疊，該區域記為分割冗余區域；

2)分別對每個子圖像進行目標檢測，得到目標相關信息(目標檢測結果)；

3)參考得到的各個子圖像的目標相關信息，對分割冗余區域的目標重新檢測定位；根據更新后的目標檢測結果在原始圖像上標記，輸出可視化結果。

基于以上方案，本發明還進一步做了如下優化：

可選地，步驟1)具體是根據預設的寬度W、高度H、冗余閾值T進行圖像分割；所述冗余閾值T表征所述在靠近邊界的區域互相重疊的像素數；步驟2)具體是基于卷積神經網絡算法分別對大小為W×H的子圖像進行目標檢測，輸出目標相關信息，所述目標相關信息至少包括目標位置。

可選地，所述目標相關信息還包括所屬類別和置信度。

可選地，所述寬度W、高度H和冗余閾值T，是根據原始圖像尺寸、目標尺寸和處理器計算能力來確定；

分割圖像寬度范圍為[0,W-1]、[W-T,2W-T-1]、[2W-2T,3W-2T-1]……；

分割圖像高度范圍為[0,H-1]、[H-T,2H-T-1]、[2H-2T,3H-2T-1]……；

任一寬度范圍和高度范圍共同組成子圖像區域。

可選地，步驟3)具體包括：

分析各個子圖像的分割冗余區域是否存在目標回歸框，且目標回歸框到子圖邊界的距離小于aT，其中a為設定的系數，較佳的取值范圍為0a0.5；

若存在滿足以上條件的目標回歸框，則以分割冗余區域為中心，重新確定相應的寬度或高度范圍，采樣大小為W×H的新的子圖像；