[發明專利]用于基于分類器的卷積神經網絡的視覺分析系統

有效

• 申請號: 201880049725.6
• 申請日: 2018-07-24
• 公開（公告）號: CN110892414B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: B.阿爾薩拉克;A.堯拉布奧;葉茂;劉小明;任騮
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06V10/776
• 分類號: G06V10/776;G06V10/82;G06V10/764;G06V10/44;G06N3/0464;G06N3/09;G06N3/045;G06N3/084;G06F16/583
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 畢錚;劉春元

公開了視覺分析方法和系統，用于可視化具有至少一個卷積神經網絡層的圖像分類模型的操作。圖像分類模型將樣本圖像分類為預定義集合的可能類之一。視覺分析方法基于相似性層級確定預定義集合的可能類的統一排序，使得彼此相似的類以統一排序聚類在一起。視覺分析方法顯示各種圖形描繪，包括類層級查看器、混淆矩陣和響應圖。在每種情況下，圖形描繪的元素根據統一排序而被布置。通過使用所述方法，用戶能夠更好地理解模型的訓練過程，診斷模型的不同特征檢測器的分離能力，并改進模型的架構。

本申請要求于2017年7月27日提交的序列號為62/537,613的美國臨時申請的優先權的權益，所述美國臨時申請的公開內容通過引用在其整體上并入本文。

技術領域

本文檔中公開的設備和方法涉及卷積神經網絡，并且更具體地，涉及用于卷積神經網絡的視覺分析。

背景技術

除非本文另有指示，否則本節中描述的材料不是本申請中權利要求的現有技術，并且不由于包括在本節中而被承認為現有技術。

對象識別是計算機視覺中的基本問題，其牽涉將圖像分類到預定義數量的類中。卷積神經網絡（CNN）在該問題上已經實現了現有技術水平的結果，這歸功于大的且經標注的數據集和強大的計算基礎設施的可用性。CNN從訓練圖像自動提取有區別的分類特征，并組合地使用它們來識別復雜對象。這使得CNN在大規模數據集（諸如圖像網）上顯著地優于傳統的計算機視覺方法，因為后者通常依賴于啟發式特征。

為了使CNN適用于關鍵領域，評估它們學習的特征的可靠性并理解分類誤差背后的可能原因是重要的。已經提出了多種技術來可視化圖像空間中的這些特征。然而，對分類誤差本身的可視化并相應地細化CNN給予了很少關注。

發明內容

公開了一種用于可視化圖像分類模型的操作的方法，所述圖像分類模型具有包括至少一個卷積層的多個神經網絡層。所述方法包括：利用處理器接收多個實際類標注，每個實際類標注與多個樣本圖像中的相應樣本圖像相關聯，每個實際類標注對應于預定義的多個類之一；利用處理器接收圖像分類模型的多個輸出，每個輸出由圖像分類模型響應于多個樣本圖像中的相應樣本圖像而提供；利用處理器基于預定義的多個類中類的相似性層級來確定預定義的多個類的依次排序，相似性層級定義在預定義的多個類中的多個相似類組；以及利用顯示設備顯示多個輸出的圖形描繪，圖形描繪包括對多個輸出進行編碼的圖形元素，所述圖形元素在視覺上根據預定義的多個類的所確定依次排序而被布置。

公開了一種用于可視化圖像分類模型的操作的視覺分析系統，所述圖像分類模型具有包括至少一個卷積層的多個神經網絡層。所述視覺分析系統包括：顯示設備；存儲器，被配置為存儲多個樣本圖像和多個實際類標注，每個實際類標注與多個樣本圖像中的相應樣本圖像相關聯，每個實際類標注對應于預定義的多個類之一；以及操作性地連接到顯示設備和存儲器的處理器。處理器被配置為：從存儲器接收多個實際類標注；接收圖像分類模型的多個輸出，每個輸出由圖像分類模型響應于多個樣本圖像中的相應樣本圖像而提供；基于預定義的多個類中類的相似性層級來確定預定義的多個類的依次排序，相似性層級定義在預定義的多個類中的多個相似類組；以及操作顯示設備來顯示多個輸出的圖形描繪，圖形描繪包括對多個輸出進行編碼的圖形元素，所述圖形元素在視覺上根據預定義的多個類的所確定依次排序而被布置。

附圖說明

結合附圖，在以下描述中解釋了所述方法和系統的前述方面和其他特征。

圖1示出了視覺分析系統的示例性實施例的框圖。

圖2示出了具有至少一個卷積神經網絡（CNN）的示例性圖像分類模型。

圖3示出了視覺分析程序的示例性主用戶接口的概覽。

圖4示出了用于可視化具有至少一個卷積層的圖像分類模型的操作的方法的邏輯流程圖。

圖5示出了主用戶接口的類層級查看器的詳細視圖。