[發明專利]基于三維卷積神經網絡的邊界框回歸方法、系統、設備及介質

有效

• 申請號: 201811031633.3
• 申請日: 2018-09-05
• 公開（公告）號: CN109255351B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 黃雙萍;伍思航;李豪杰
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李君

1.基于三維卷積神經網絡的邊界框回歸方法，其特征在于：所述方法包括：

構建回歸器，對跟蹤算法預測出的目標邊界框進行回歸，得到更接近真實邊界框的目標邊界框；

根據給定跟蹤序列的第一幀信息，生成樣本對并訓練回歸器；

在后續每一幀的目標跟蹤過程中，使用回歸器對跟蹤算法預測的目標邊界框進行回歸；其中，后續每一幀是指第2幀至第N-1幀；

在設定三維卷積神經網絡的時序維度輸入量為N的情況下，當跟蹤到第N幀時，將前N幀的跟蹤目標圖像作為三維卷積神經網絡的輸入，再根據第一幀的信息，生成樣本對，對回歸器進行適應性調優重訓練。

2.根據權利要求1所述的邊界框回歸方法，其特征在于：所述對跟蹤算法預測出的目標邊界框進行回歸，得到更接近真實邊界框的目標邊界框，具體包括：

使用回歸器將跟蹤算法預測出的目標邊界框沿著中心點平移，再對該目標邊界框的寬高進行縮放，得到更接近真實邊界框的目標邊界框。

3.根據權利要求1所述的邊界框回歸方法，其特征在于：所述根據給定跟蹤序列的第一幀信息，生成樣本對并訓練回歸器，具體包括：

將N個同樣的第一幀目標圖像作為三維卷積神經網絡的輸入；

在給定跟蹤序列的第一幀真實邊界框的鄰域，均勻采樣出多個大小、位置不同的邊界框作為跟蹤算法預測的目標邊界框；

通過基于三維卷積神經網絡的跟蹤算法計算目標邊界框所包含圖像的特征向量，再計算特征向量對應的理論真實值；

將目標邊界框所包含圖像的特征向量和理論真實值構成一個樣本對；

將生成的多個樣本對作為訓練樣本訓練回歸器。

4.根據權利要求1所述的邊界框回歸方法，其特征在于：所述在后續每一幀的目標跟蹤過程中，使用回歸器對跟蹤算法預測的目標邊界框進行回歸，具體包括：

在后續每一幀的目標跟蹤過程中，根據跟蹤算法預測出的多個目標候選區域，取符合預設條件的M個目標候選區域；

分別通過回歸器對M個目標候選區域的邊界框進行回歸，得到M個回歸邊界框；

對M個回歸邊界框取平均，得到一個邊界框，作為當前幀目標的邊界框。

5.根據權利要求4所述的邊界框回歸方法，其特征在于：所述多個目標候選區域為多個帶有置信度得分的目標候選區域；

所述預設條件包括：所述置信度得分大于或等于置信度閾值。

6.根據權利要求4所述的邊界框回歸方法，其特征在于：所述在后續每一幀的目標跟蹤過程中，使用回歸器對跟蹤算法預測的目標邊界框進行回歸，還包括：

確定后續每一幀中三維卷積神經網絡的時序維度輸入量；其中，所述時序維度輸入量設定為N，即要求輸入當前幀以及前N-1幀；

在跟蹤前N-1幀的過程中，累計跟蹤的幀數小于N，采用時序對齊策略使總幀數滿足時序維度輸入量N。

7.根據權利要求6所述的邊界框回歸方法，其特征在于：所述采用時序對齊策略使總幀數滿足時序維度輸入量N，具體包括：

假設當前幀為第S幀，其中SN，累計跟蹤已測的幀數共S幀，在已測幀前填充N-S份第一幀，使總幀數滿足時序維度輸入量N。

8.基于三維卷積神經網絡的邊界框回歸系統，其特征在于：所述系統包括：

構建模塊，用于構建回歸器，對跟蹤算法預測出的目標邊界框進行回歸，得到更接近真實邊界框的目標邊界框；

訓練模塊，用于根據給定跟蹤序列的第一幀信息，生成樣本對并訓練回歸器；

回歸模塊，用于在后續每一幀的目標跟蹤過程中，使用回歸器對跟蹤算法預測的目標邊界框進行回歸；其中，后續每一幀是指第2幀至第N-1幀；

調優訓練模塊，用于在設定三維卷積神經網絡的時序維度輸入量為N的情況下，當跟蹤到第N幀時，將前N幀的跟蹤目標圖像作為三維卷積神經網絡的輸入，再根據第一幀的信息，生成樣本對，對回歸器進行適應性調優訓練。