[發明專利]用包括跟蹤網的卷積神經網絡獲取與圖像中的對象對應的邊界框的方法和使用其的計算裝置

在審

• 申請號: 201811191036.7
• 申請日: 2018-10-12
• 公開（公告）號: CN109670523A
• 公開（公告）日: 2019-04-23
• 發明（設計）人: 金镕重;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張泰雄;鄭景中;諸泓模;趙浩辰
• 申請（專利權）人: 斯特拉德視覺公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/20;G06N3/04
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 李琳;陳英俊

1.一種通過使用包括跟蹤網的CNN獲取與測試圖像中的至少一個對象相對應的至少一個邊界框的方法，包括以下步驟：

(a)如果通過對作為當前幀的所述測試圖像應用卷積運算而生成特征圖，然后輸出通過由區域建議網絡(RPN)對所述特征圖應用特定操作而得到的關于多個建議框的信息，則測試裝置獲取或支持另一裝置獲取所述多個建議框；

(b)所述測試裝置通過參考以下至少一項在所述多個建議框中選擇或支持另一裝置在所述多個建議框中選擇至少一個特定建議框：(i)將前一幀中的所述對象的參考邊界框與所述多個建議框的每一個之間的每個距離進行比較的結果以及(ii)將作為指示所述建議框的每一個是否包括所述對象的概率值的每個分數進行比較的結果，然后設置或支持另一裝置設置所述特定建議框作為跟蹤框的起始區域，其中，所述起始區域用于均值漂移跟蹤算法；

(c)通過使用所述均值漂移跟蹤算法，所述測試裝置確定或支持另一裝置確定所述當前幀的特定區域作為所述跟蹤框的目標區域，所述特定區域具有關于和與所述前一幀中的所述對象的像素數據對應的概率類似的概率的信息；以及

(d)所述測試裝置允許池化層通過對所述特征圖中對應于所述特定區域的區域應用池化運算生成池化特征圖，然后允許FC層通過對所述池化特征圖應用回歸運算來獲取邊界框。

2.根據權利要求1所述的方法，其中，在所述步驟(c)中，關于與所述前一幀中的所述對象的像素數據對應的概率的所述信息是與所述前一幀中的所述邊界框的像素數據相對應的直方圖。

3.根據權利要求1所述的方法，還包括步驟：

(e)所述測試裝置將所述邊界框確定為參考邊界框，以用于位于下一幀中的所述對象的跟蹤框。

4.根據權利要求1所述的方法，其中，在所述步驟(b)中，如果所述對象的數量是多個，則所述測試裝置通過參考以下至少一項在所述多個建議框中選擇或支持另一裝置在所述多個建議框中選擇所述特定建議框：(i)將所述前一幀中的所述對象的所述參考邊界框與所述多個建議框的每一個之間的距離的每一個進行比較的結果以及(ii)將作為指示所述建議框的每一個是否包括所述對象的概率值的每個分數進行比較的結果，然后設置或支持另一裝置設置所述特定建議框的每一個作為所述跟蹤框的每一個的每個起始區域。

5.根據權利要求1所述的方法，其中，在所述步驟(b)中，位于所述前一幀中的所述對象的所述參考邊界框與所述多個建議框中的每一個之間的距離是所述參考邊界框的中心坐標與所述多個建議框中的每一個的中心坐標之間的L2距離。

6.根據權利要求1所述的方法，其中，在學習裝置已經完成以下處理的條件下所述測試裝置執行所述步驟(a)至所述(d)：(i)允許卷積層從包括用于訓練的對象的訓練圖像獲取用于訓練的特征圖，(ii)允許所述RPN獲取與所述訓練圖像中與用于訓練的所述對象相對應的用于訓練的一個或多個建議框，(iii)允許所述池化層通過應用池化運算生成與用于訓練的建議框對應的用于訓練的池化特征圖，(iv)允許所述FC層通過將回歸運算應用于用于訓練的所述池化特征圖獲取關于用于訓練的邊界框的像素數據的信息，以及(v)允許損失層通過比較所述訓練圖像中的所述邊界框的像素數據的信息與GT圖像中的所述邊界框的像素數據的信息來獲取比較數據，從而在反向傳播過程中通過使用所述比較數據調整所述CNN的至少一個參數。

7.根據權利要求1所述的方法，其中，在所述步驟(d)中，通過生成所述池化特征圖然后通過所述FC層應用所述回歸運算的處理，所述測試裝置獲取或支持另一裝置獲取所述邊界框，所述邊界框的大小被調整為對應于所述測試圖像中的所述對象。