[發明專利]適應多物件尺寸的特征決定裝置及方法

有效

• 申請號: 201811382941.0
• 申請日: 2018-11-20
• 公開（公告）號: CN111178367B
• 公開（公告）日: 2023-02-24
• 發明（設計）人: 陳彥霖;梁弘一;陳修志;余兆偉;李孟燦
• 申請（專利權）人: 財團法人資訊工業策進會
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 湯在彥

一種適應多物件尺寸的特征決定裝置及方法。該裝置將多張物件圖像個別地輸入具有多個卷積層的卷積神經網絡以產生各該物件圖像所對應的多張特征圖。該裝置計算各該物件圖像的各該特征圖的一特征量。該裝置根據一預設門檻值及各該物件圖像所對應的該多個特征量，判斷各該物件圖像的一無效層起始編號。該裝置根據各該物件圖像的尺寸及各該物件圖像所對應的該無效層起始編號，決定多個物件尺寸各自對應的特征圖提取建議。

技術領域

本發明是關于一種物件的特征決定裝置及方法。具體而言，本發明是關于一種適應多物件尺寸的特征決定裝置及方法。

背景技術

隨著運算硬件及深度學習技術的快速發展，許多電腦視覺裝置及圖像處理裝置(例如：路側裝置)已采用由深度學習技術所建立的物件檢測模型來檢測圖像或圖像序列中的物件。目前被廣泛地應用于電腦視覺技術及圖像處理技術的深度學習模型包含卷積神經網絡(Convolutional Neural Network；CNN)模型、區域卷積神經網絡(Region-basedConvolutional Neural Network；R-CNN)模型、快速區域卷積神經網絡(Faster Region-based Convolutional Neural Network；Faster R-CNN)模型等等。

不論采用哪一種深度學習模型，都需要經過訓練才能作為實際要使用的物件檢測模型。目前已有一些深度學習技術(例如：單次多框檢測器(Single Shot multiboxDetector；SSD))是以圖像與圖像在深度學習模型中某幾層卷積層的特征圖(feature map)來進行訓練，以提高物件檢測模型的準確率。由于硬件資源有限，已知技術是預先設定欲固定提取哪一(或哪些)卷積層的特征圖。然而，物件尺寸不一，已知技術的作法極可能提取到無效的特征圖(亦即，特征量過少的特征圖)，造成運算資源的浪費，且導致無法提高訓練出來的物件檢測模型的準確率。

為便于理解，請參考圖1及圖2所示的具體范例。圖1描繪了一包含有物件“車子”的圖像11，以及圖像11在一深度學習模型的第1層至第5層卷積層所分別對應的多張特征圖。在圖1中，第5層卷積層所對應的各該特征圖為全黑或近乎全黑，代表所具有的特征量極少(亦即，有用的信息極少)，可視為無效的特征圖。圖2則描繪一包含有物件“人物”的圖像21，以及圖像21在一深度學習模型的第1層至第5層卷積層所分別對應的多張特征圖。在圖2中，第4層卷積層及第5層卷積層所對應的各該特征圖為全黑或近乎全黑，代表所具有的特征量極少，可視為無效的特征圖。比較圖1及圖2可知，圖2的圖像21中的物件的尺寸較小，故第4層卷積層所對應的該多個特征圖即已為全黑或近乎全黑，而圖1的圖像11中的物件的尺寸較大，故直到第5層卷積層所對應的該多個特征圖才為全黑或近乎全黑。由此可知，在物件的尺寸不一的狀況下，預先設定欲固定提取哪一(或哪些)卷積層的特征圖勢必會提取到無用的信息，造成無意義的運算，無法使訓練出來的物件檢測模型有較高的準確率。

目前的深度學習模型的另一個問題是需要大量的常態卷積運算，因此硬件需求較高，不易實現于嵌入式平臺。為解決前述問題，目前已有一些輕量化(亦即，運算量較少)的深度學習模型，例如：深度分離卷積神經網絡(depth-wise separable convolutionneural network)。然而，這些輕量化的深度學習模型在經過多層的卷積運算后，往往會產生無效的特征圖(亦即，特征量過少的特征圖)，造成后續運算資源的浪費。

有鑒于此，如何根據不同物件尺寸提供特征圖提取建議，以避免造成無意義運算，乃業界亟需努力的目標。

發明內容