[發(fā)明專利]一種基于RGB圖像的行為識(shí)別方法、裝置、介質(zhì)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010151359.4
• 申請(qǐng)日: 2020-03-06
• 公開(kāi)（公告）號(hào): CN111353452A
• 公開(kāi)（公告）日: 2020-06-30
• 發(fā)明（設(shè)計(jì)）人: 熊德智;陳向群;胡軍華;柳青;劉小平;楊茂濤;黃瑞;溫和;歐陽(yáng)黎;陳浩;曾文偉
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)湖南省電力有限公司;國(guó)網(wǎng)湖南省電力有限公司供電服務(wù)中心（計(jì)量中心）;國(guó)家電網(wǎng)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06Q10/06;G06Q50/06
• 代理公司: 湖南兆弘專利事務(wù)所(普通合伙) 43008
• 代理人: 周長(zhǎng)清;廖元寶

1.一種基于RGB圖像的行為識(shí)別方法，其特征在于，包括步驟：

1)對(duì)視頻幀中的RGB圖像進(jìn)行預(yù)處理，將工作人員的區(qū)域分割出來(lái)，對(duì)目標(biāo)進(jìn)行捕捉或跟蹤；

2)提取預(yù)處理后的RGB圖像中的圖像特征參數(shù)，送入循環(huán)神經(jīng)網(wǎng)絡(luò)中，得到圖像特征參數(shù)與高維向量的映射；

3)在得到視頻幀的高維向量的基礎(chǔ)上，建立分類器模型，建立從高維向量到最終不規(guī)范行為類別的映射，并對(duì)分類器模型進(jìn)行訓(xùn)練；

4)獲取監(jiān)測(cè)視頻信息中的RGB圖像，基于訓(xùn)練好的分類器模型，對(duì)供電營(yíng)業(yè)廳服務(wù)人員的行為進(jìn)行識(shí)別。

2.根據(jù)權(quán)利要求1所述的基于RGB圖像的行為識(shí)別方法，其特征在于，所述步驟3)具體為：

3.1)將步驟2)中的每個(gè)用作特征提取的視頻幀單元稱為一個(gè)片段，而將每次輸出的高維向量記作片段動(dòng)作分?jǐn)?shù)，最終對(duì)于一個(gè)包含T幀圖像的視頻，得到等長(zhǎng)的SAS特征序列；

3.2)在獲得長(zhǎng)度為T(mén)的特征序列后，將其用作SSAD模型的輸入；其中SSAD模型為全部由時(shí)序卷積構(gòu)成的網(wǎng)絡(luò)，包括三種卷積層：基層、錨框?qū)右约邦A(yù)測(cè)層，其中基層的作用為縮短特征序列的長(zhǎng)度，并增大特征序列中每個(gè)位置的感受野；

3.3)接下來(lái)SSAD模型中繼續(xù)使用來(lái)縮小特征序列的長(zhǎng)度，錨框?qū)虞敵龅奶卣餍蛄兄械拿總€(gè)位置都被關(guān)聯(lián)了多個(gè)尺度的錨框?qū)嵗?/p>

3.4)之后，再通過(guò)預(yù)測(cè)層，來(lái)獲取每個(gè)錨框?qū)嵗鶎?duì)應(yīng)的坐標(biāo)偏移量，重疊置信度，以及類別分類結(jié)果；

3.5)通過(guò)多層時(shí)間尺度不斷縮小的特征序列，SSAD模型獲得由小到大各個(gè)時(shí)間尺度的動(dòng)作實(shí)例預(yù)測(cè)，建立最終的分類器模型。

3.根據(jù)權(quán)利要求2所述的基于RGB圖像的行為識(shí)別方法，其特征在于，在步驟3)中，還包括分類器模型的訓(xùn)練：

將獲得的錨框用坐標(biāo)偏移量進(jìn)行修正，再與標(biāo)簽實(shí)例進(jìn)行匹配，來(lái)確定錨框?qū)嵗钦龢颖具€是負(fù)樣本；其中SSAD模型使用如下的損失函數(shù)進(jìn)行模型訓(xùn)練，包括分類損失L_class、重疊置信度回歸損失L_over、邊界回歸損失L_loc以及正則化項(xiàng)L₂；

L＝L_class+α·L_over+β·L_loc+λ·L₂(Θ)

式中α、β、λ均為系數(shù)；

測(cè)試時(shí)，同樣先將獲得的錨框?qū)嵗米鴺?biāo)偏移量進(jìn)行修正，再獲得每個(gè)錨框?qū)嵗淖罱K分類結(jié)果。

4.根據(jù)權(quán)利要求3所述的基于RGB圖像的行為識(shí)別方法，其特征在于，在步驟4)中，在獲得了一段視頻所有的預(yù)測(cè)動(dòng)作實(shí)例后，采用非極大化抑制算法對(duì)重疊的預(yù)測(cè)進(jìn)行去重，從而獲得最終的時(shí)序動(dòng)作檢測(cè)的結(jié)果。

5.根據(jù)權(quán)利要求1～4中任意一項(xiàng)所述的基于RGB圖像的行為識(shí)別方法，其特征在于，在步驟2)中，通過(guò)C3D模型提取RGB圖像中的圖像特征參數(shù)；所述C3D模型包括8次卷積操作，5次池化操作；其中卷積核的大小均為3*3*3，步長(zhǎng)為1*1*1；池化核的大小為2*2*2,步長(zhǎng)為2*2*2，除第一層池化除外，其大小和步長(zhǎng)均為1*2*2，以不過(guò)早縮減時(shí)序上的長(zhǎng)度；最終經(jīng)過(guò)兩次全連接層后得到4096維的高維向量。

6.根據(jù)權(quán)利要求1～4中任意一項(xiàng)所述的基于RGB圖像的行為識(shí)別方法，其特征在于，在步驟1)中，對(duì)視頻幀進(jìn)行預(yù)處理具體包括：采用背景提取算法將工作人員的區(qū)域分割出來(lái)，并使用投票算法，計(jì)算連通域定位目標(biāo)區(qū)域，對(duì)目標(biāo)進(jìn)行捕捉或跟蹤，最終得到只含有單一目標(biāo)的圖像；其中通過(guò)將視頻流中相鄰兩幀或相隔幾幀圖像的兩幅圖像像素值相減，并對(duì)相減后的圖像進(jìn)行閾值化來(lái)提取圖像中的運(yùn)動(dòng)區(qū)域；或者將當(dāng)前獲取的圖像幀與背景圖像做差分運(yùn)算，得到目標(biāo)運(yùn)動(dòng)區(qū)域的灰度圖，對(duì)灰度圖進(jìn)行閾值化提取運(yùn)動(dòng)區(qū)域，其中背景圖像根據(jù)當(dāng)前獲取圖像幀進(jìn)行更新。