[發(fā)明專利]行為檢測(cè)方法、系統(tǒng)、機(jī)器可讀介質(zhì)及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911031891.6
• 申請(qǐng)日: 2019-10-28
• 公開（公告）號(hào): CN110796071B
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 周曦;姚志強(qiáng);李繼偉;高伽林;施志祥
• 申請(qǐng)（專利權(quán)）人: 廣州云從博衍智能科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 尹麗云

1.一種行為檢測(cè)方法，其特征在于，包括有：

獲取包含有目標(biāo)行為的待檢測(cè)連續(xù)幀圖像；

利用一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)待檢測(cè)連續(xù)幀圖像進(jìn)行表征，使每一幀圖像能夠感知當(dāng)前幀圖像具有的目標(biāo)行為特征信息、其他幀圖像具有的目標(biāo)行為特征信息；

一個(gè)或多個(gè)分類器，根據(jù)所述一個(gè)或多個(gè)分類器對(duì)表征后的待檢測(cè)連續(xù)幀圖像進(jìn)行分類，獲取至少兩個(gè)分類結(jié)果；每一個(gè)分類器包括有一層或多層，每一層包括有一個(gè)或多個(gè)模板、一個(gè)或多個(gè)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)；所述模板包括一個(gè)或多個(gè)感知器模型、一個(gè)或多個(gè)訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)；包括：獲取用于預(yù)測(cè)特征片段中出現(xiàn)目標(biāo)行為的概率，根據(jù)所述概率設(shè)置不同閾值，生成一個(gè)或多個(gè)基于目標(biāo)行為的分類結(jié)果；

和/或，獲取經(jīng)過卷積的初始的特征矩陣，或者所述初始的特征矩陣，將其輸入至所述一個(gè)或多個(gè)模板中進(jìn)行卷積和感知；

改變卷積和感知后的特征矩陣的時(shí)間尺度，使所述分類器中當(dāng)前層中經(jīng)過卷積和感知后的特征矩陣的時(shí)間尺度為下一層中經(jīng)過卷積和感知后的特征矩陣的時(shí)間尺度的兩倍；

再對(duì)所述分類器中經(jīng)過卷積和感知后的特征矩陣進(jìn)行上采樣，將上采樣結(jié)果輸入至一個(gè)或多個(gè)待訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，生成一個(gè)或多個(gè)基于時(shí)間尺度的分類結(jié)果；

對(duì)所述至少兩個(gè)分類結(jié)果進(jìn)行合并，獲得目標(biāo)行為檢測(cè)結(jié)果；包括：根據(jù)不同的分類器分別獲取基于目標(biāo)行為的分類結(jié)果以及基于時(shí)間尺度的分類結(jié)果，篩選出其中目標(biāo)行為重合度最高的基于目標(biāo)行為的分類結(jié)果和基于時(shí)間尺度的分類結(jié)果，并根據(jù)篩選出的分類結(jié)果融合得到目標(biāo)行為檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的行為檢測(cè)方法，其特征在于，所述目標(biāo)行為檢測(cè)結(jié)果包括以下至少之一：目標(biāo)行為中間檢測(cè)結(jié)果、目標(biāo)行為最終檢測(cè)結(jié)果。

3.根據(jù)權(quán)利要求2所述的行為檢測(cè)方法，其特征在于，根據(jù)所述目標(biāo)行為中間檢測(cè)結(jié)果或目標(biāo)行為最終檢測(cè)結(jié)果更新所述一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)中的參數(shù)。

4.根據(jù)權(quán)利要求2所述的行為檢測(cè)方法，其特征在于，根據(jù)所述目標(biāo)行為中間檢測(cè)結(jié)果或目標(biāo)行為最終檢測(cè)結(jié)果更新所述一個(gè)或多個(gè)分類器中的參數(shù)。

5.根據(jù)權(quán)利要求1所述的行為檢測(cè)方法，其特征在于，還包括對(duì)待檢測(cè)連續(xù)幀圖像進(jìn)行標(biāo)注，所述標(biāo)注包括以下至少之一：對(duì)一個(gè)或多個(gè)目標(biāo)行為類別進(jìn)行標(biāo)注、對(duì)一個(gè)或多個(gè)目標(biāo)行為的起始時(shí)間進(jìn)行標(biāo)注。

6.根據(jù)權(quán)利要求3所述的行為檢測(cè)方法，其特征在于，還包括根據(jù)以下至少之一更新所述一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)中的參數(shù)：一個(gè)或多個(gè)連續(xù)幀圖像、一個(gè)或多個(gè)連續(xù)幀圖像中的目標(biāo)行為特征。

7.根據(jù)權(quán)利要求5所述的行為檢測(cè)方法，其特征在于，所述目標(biāo)行為特征包括以下至少之一：目標(biāo)行為類別、目標(biāo)行為起始時(shí)間。

8.根據(jù)權(quán)利要求7所述的行為檢測(cè)方法，其特征在于，還包括有將所述目標(biāo)行為開始時(shí)間轉(zhuǎn)化為第一數(shù)值，所述目標(biāo)行為結(jié)束時(shí)間轉(zhuǎn)化為第二數(shù)值。

9.根據(jù)權(quán)利要求1所述的行為檢測(cè)方法，其特征在于，利用一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)待檢測(cè)連續(xù)幀圖像進(jìn)行表征前，還包括對(duì)獲取的待檢測(cè)連續(xù)幀圖像進(jìn)行特征分割，將待檢測(cè)連續(xù)幀圖像分割為一個(gè)或多個(gè)特征片段。

10.根據(jù)權(quán)利要求9所述的行為檢測(cè)方法，其特征在于，所述特征分割包括以下至少之一：按照幀率分割、按照幀數(shù)分割或按照時(shí)間值分割。