[發(fā)明專利]用于視頻行為識別的模型訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備

有效

• 申請?zhí)枺?/td>: 202011202120.1
• 申請日: 2020-11-02
• 公開（公告）號: CN112347893B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 石大明;劉露;劉玉坤;楊淑玲
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/774;G06V10/82;G06N3/0442
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 吳平

1.一種用于視頻行為識別的模型訓(xùn)練方法，其特征在于，所述方法包括：

確定視頻行為識別模型的輸入層、隱含層和輸出層；

針對每一個隱含層，采用與所述隱含層的感受野尺寸相同的滑動窗口對樣本視頻圖像進(jìn)行滑動截取，獲得對應(yīng)隱含層的基本模式集；

確定所述基本模式集中的各基本模式之間的相似度；

根據(jù)所述各基本模式之間的相似度，對所述基本模式集進(jìn)行聚類，獲得多個基本模式類；其中，每一個基本模式類中的各基本模式之間的相似度大于等于第一預(yù)設(shè)相似度閾值，不同基本模式類中的各基本模式之間的相似度小于第一預(yù)設(shè)相似度閾值；

針對每一個基本模式類，對所述基本模式類中的基本模式進(jìn)行加權(quán)平均處理，獲得所述基本模式類的初始代表模式；

針對每一個基本模式類，確定所述基本模式類的初始代表模式與所述基本模式類中的基本模式之間的相似度；

當(dāng)所述基本模式類的初始代表模式與所述基本模式類中的基本模式之間的相似度小于第二預(yù)設(shè)相似度閾值時，調(diào)整所述基本模式類中的基本模式，返回所述針對每一個基本模式類，對所述基本模式類中的基本模式進(jìn)行加權(quán)平均處理，獲得所述基本模式類的初始代表模式的步驟，直至所述基本模式類的初始代表模式與所述基本模式類中的基本模式之間的相似度大于等于第二預(yù)設(shè)相似度閾值時，獲得所述基本模式類的目標(biāo)代表模式；

將所述代表模式進(jìn)行組合處理，獲得每個隱含層對應(yīng)的訓(xùn)練模式集；

對所述視頻行為識別模型進(jìn)行從前向后逐層的局部特征訓(xùn)練，且在每一個隱含層進(jìn)行局部特征訓(xùn)練時，采用對應(yīng)的訓(xùn)練模式集進(jìn)行訓(xùn)練；

在所述輸出層，采用反向傳播的訓(xùn)練方式，對所述視頻行為識別模型進(jìn)行全局訓(xùn)練；

獲取上線階段的待識別視頻圖像；

將所述待識別視頻圖像輸入至所述視頻行為識別模型，獲得奇異視頻圖像；

針對每一個隱含層，采用與所述隱含層的感受野尺寸相同的滑動窗口對所述奇異視頻圖像進(jìn)行滑動截取，獲得對應(yīng)隱含層的初始奇異模式集；

將所述初始奇異模式集和所述基本模式集進(jìn)行相似度匹配，獲得目標(biāo)奇異模式集；

通過所述目標(biāo)奇異模式集和所述奇異視頻圖像，對所述視頻行為識別模型進(jìn)行在線訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

通過所述視頻行為識別模型提取所述樣本視頻圖像中個體行為的空間特征；

將所述空間特征按照時間順序，輸入至長短時記憶網(wǎng)絡(luò)進(jìn)行時序分析，獲得所述樣本視頻圖像中個體行為的時序特征。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

確定所述樣本視頻圖像的目標(biāo)個體的數(shù)量；

針對每一個目標(biāo)個體，將所述目標(biāo)個體對應(yīng)的空間特征和時序特征進(jìn)行拼接，獲得與所述目標(biāo)個體對應(yīng)的個體特征；

根據(jù)所述個體特征在所述樣本視頻圖像的目標(biāo)群體中的貢獻(xiàn)程度，確定每一個個體特征對應(yīng)的特征權(quán)值；

根據(jù)所述個體特征和所述特征權(quán)值，采用注意力池化機(jī)制對所述個體特征進(jìn)行特征聚合處理，獲得所述目標(biāo)群體的特征向量。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述視頻行為識別模型進(jìn)行從前向后逐層的局部特征訓(xùn)練，包括：

確定所述視頻行為識別模型中每一個隱含層中的每一個模式所對應(yīng)的模式激活閾值；

按照所述視頻行為識別模型中隱含層從前向后的順序，采用對應(yīng)的訓(xùn)練模式集逐層對每一個隱含層進(jìn)行局部特征訓(xùn)練，獲得所述隱含層中的每一個模式所對應(yīng)的模式識別值；

針對每一個隱含層，當(dāng)所述隱含層中的每一個模式所對應(yīng)的模式識別值大于等于各自所對應(yīng)的模式激活閾值時，判定所述隱含層的局部特征訓(xùn)練完成。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述輸出層，采用反向傳播的訓(xùn)練方式，對所述視頻行為識別模型進(jìn)行全局訓(xùn)練，包括：

將所述樣本視頻圖像輸入至所述視頻行為識別模型，在所述輸出層獲得輸出值；

確定所述輸出值與實(shí)際值之間的識別誤差；

采用反向傳播的訓(xùn)練方式，將所述識別誤差從輸出層向隱含層反向傳播直至傳播至輸入層，以完成對所述視頻行為識別模型的全局訓(xùn)練。