[發(fā)明專利]一種多類別工程車的行為識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110098578.5
• 申請(qǐng)日: 2021-01-25
• 公開（公告）號(hào): CN112800934B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 汪霖;李一荻;曹世闖;汪照陽(yáng);胡莎;劉成;陳曉璇;姜博;李艷艷;周延
• 申請(qǐng)（專利權(quán)）人: 西北大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/774;G06V10/762;G06V10/82;G06N3/049;G06N3/084;G06N3/045
• 代理公司: 西安嘉思特知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61230
• 代理人: 尹曉雪

1.一種多類別工程車的行為識(shí)別方法，其特征在于，包括：

獲取待識(shí)別視頻；

其中，待識(shí)別視頻包含多幀圖像，每幀圖像包含多個(gè)工程車目標(biāo)；

將所述待識(shí)別視頻輸入訓(xùn)練好的目標(biāo)檢測(cè)模型，以使訓(xùn)練好的目標(biāo)檢測(cè)模型對(duì)所述待識(shí)別視頻進(jìn)行識(shí)別，輸出預(yù)測(cè)框；

其中，所述預(yù)測(cè)框中包含所述待識(shí)別視頻中的工程車目標(biāo)，工程車目標(biāo)所在的預(yù)測(cè)框?qū)?yīng)工程車目標(biāo)的位置坐標(biāo)以及類別，所述訓(xùn)練好的目標(biāo)檢測(cè)模型是通過(guò)獲取第一訓(xùn)練集，所述第一訓(xùn)練集中包括多個(gè)第一樣本，每個(gè)第一樣本中的工程車目標(biāo)用真實(shí)框標(biāo)注出，將第一訓(xùn)練集進(jìn)行聚類得到k個(gè)先驗(yàn)框，將先驗(yàn)框輸入預(yù)設(shè)的目標(biāo)檢測(cè)模型中，以使所述預(yù)設(shè)的目標(biāo)檢測(cè)模型確定與所述真實(shí)框交并比最大的先驗(yàn)框，計(jì)算預(yù)測(cè)框與該先驗(yàn)框之間偏移量，輸出一個(gè)包含目標(biāo)的預(yù)測(cè)框，迭代訓(xùn)練所述預(yù)設(shè)的目標(biāo)檢測(cè)模型，直至達(dá)到第一訓(xùn)練截止條件；

將所述預(yù)測(cè)框范圍內(nèi)的圖像以連續(xù)幀的形式輸入訓(xùn)練好的行為識(shí)別網(wǎng)絡(luò)中，以使行為識(shí)別網(wǎng)絡(luò)對(duì)所述待識(shí)別視頻進(jìn)行關(guān)鍵幀的提取以及工程車目標(biāo)行為的識(shí)別，獲得所述待識(shí)別視頻中工程車目標(biāo)的行為所屬類別；

其中，所述訓(xùn)練好的行為識(shí)別網(wǎng)絡(luò)是通過(guò)獲取第二訓(xùn)練集，所述第二訓(xùn)練集中包括多個(gè)第二樣本，每個(gè)第二樣本包括工程車目標(biāo)的真實(shí)行為類別，將所述第二樣本輸入預(yù)設(shè)的行為識(shí)別網(wǎng)絡(luò)中，以使所述預(yù)設(shè)的行為識(shí)別網(wǎng)絡(luò)中每一層輸出的維特征圖按照輸入圖像的時(shí)序進(jìn)行分組，使得每組之間包含的維度特征圖個(gè)數(shù)差距最小，按照組的序號(hào)，將每組維度特征圖進(jìn)行移位，將移位后的維度特征圖對(duì)應(yīng)的特征向量中空位補(bǔ)0，迭代訓(xùn)練所述預(yù)設(shè)的行為識(shí)別網(wǎng)路，直至達(dá)到第二訓(xùn)練截止條件，獲得訓(xùn)練好的行為識(shí)別網(wǎng)絡(luò)；

所述訓(xùn)練好的目標(biāo)檢測(cè)模型通過(guò)如下步驟獲得：

步驟1：獲取原始圖像數(shù)據(jù)；

步驟2：將所述原始數(shù)據(jù)劃分為訓(xùn)練集，測(cè)試集以及驗(yàn)證集；

步驟3：對(duì)所述訓(xùn)練集，測(cè)試集以及驗(yàn)證集中的工程車目標(biāo)使用真實(shí)框進(jìn)行標(biāo)注；

步驟4：對(duì)所述訓(xùn)練集使用k-means聚類算法進(jìn)行聚類，得到k個(gè)先驗(yàn)框尺度；

其中，每一個(gè)先驗(yàn)框?qū)?yīng)先驗(yàn)框信息，所述先驗(yàn)框信息包括先驗(yàn)框的尺度，所述尺度包括寬度以及高度；

步驟5：將所述訓(xùn)練集中的每個(gè)樣本進(jìn)行數(shù)據(jù)增強(qiáng)；

步驟6：將增強(qiáng)后的每個(gè)樣本分為s×s個(gè)格子；

其中，每個(gè)格子對(duì)應(yīng)多個(gè)先驗(yàn)框，每個(gè)格子的每個(gè)先驗(yàn)框預(yù)測(cè)一個(gè)置信度以及c個(gè)類別概率；

步驟7：將所述先驗(yàn)框信息以及所述物體中心位置坐標(biāo)輸入預(yù)設(shè)的目標(biāo)檢測(cè)模型中，以使所述預(yù)設(shè)的目標(biāo)檢測(cè)模型確定與所述真實(shí)框并交比最大的先驗(yàn)框，并基于與所述真實(shí)框并交比最大的先驗(yàn)框以及所述物體中心位置所在的格子的置信度，使用反向傳播算法調(diào)整所述預(yù)設(shè)的目標(biāo)檢測(cè)模型中的參數(shù)，計(jì)算預(yù)測(cè)框與先驗(yàn)框之間的偏移量，輸出預(yù)測(cè)框；

步驟8：基于所述預(yù)測(cè)框與真實(shí)框，計(jì)算所述預(yù)設(shè)的目標(biāo)檢測(cè)模型的損失函數(shù)；

步驟9：重復(fù)步驟7至步驟8直至達(dá)到第一訓(xùn)練截止條件；

其中，所述第一訓(xùn)練截止條件包括：所述預(yù)設(shè)的目標(biāo)檢測(cè)模型的損失函數(shù)值不再變化或者所述損失函數(shù)值低于第一閾值；

步驟10：將損失函數(shù)達(dá)到最小的預(yù)設(shè)的目標(biāo)檢測(cè)模型確定為訓(xùn)練好的目標(biāo)檢測(cè)模型；

步驟7包括：將所述先驗(yàn)框信息以及所述物體中心位置坐標(biāo)輸入預(yù)設(shè)的目標(biāo)檢測(cè)模型中，以使所述預(yù)設(shè)的目標(biāo)檢測(cè)模型確定與所述真實(shí)框并交比最大的先驗(yàn)框，并基于所述基于與所述真實(shí)框并交比最大的先驗(yàn)框以及所述物體中心位置所在的格子的置信度，使用下述公式(1)計(jì)算預(yù)測(cè)框與先驗(yàn)框之前的偏移量，輸出預(yù)測(cè)框；

公式(1)為：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中，b_x表示預(yù)測(cè)框的橫坐標(biāo)，b_y表示預(yù)測(cè)框的縱坐標(biāo)，b_w表示預(yù)設(shè)的目標(biāo)檢測(cè)模型預(yù)測(cè)的預(yù)測(cè)框相對(duì)于與真實(shí)框交并比最大的先驗(yàn)框的寬偏移量，b_h表示預(yù)設(shè)的目標(biāo)檢測(cè)模型預(yù)測(cè)的預(yù)測(cè)框相對(duì)于與真實(shí)框交并比最大的先驗(yàn)框的高偏移量，p_w表示當(dāng)前先驗(yàn)框?qū)挘琾_h表示當(dāng)前先驗(yàn)框高；c_x和c_y表示中心點(diǎn)所處網(wǎng)格左上角坐標(biāo)，σ(t_x)和σ(t_y)表示預(yù)測(cè)框中心點(diǎn)C與中心點(diǎn)所處網(wǎng)格左上角坐標(biāo)的距離，t_w表示所述預(yù)設(shè)的目標(biāo)檢測(cè)模型預(yù)測(cè)的先驗(yàn)框相對(duì)于真實(shí)框的寬偏移量，t_h為所述預(yù)設(shè)的目標(biāo)檢測(cè)模型預(yù)測(cè)的先驗(yàn)框相對(duì)于真實(shí)框高偏移量，σ表示Sigmoid函數(shù)，作用是將坐標(biāo)偏移量化到(0，1)區(qū)間。