[發明專利]一種基于RGB圖像的行為識別方法、裝置、介質及設備

在審

• 申請號: 202010151359.4
• 申請日: 2020-03-06
• 公開（公告）號: CN111353452A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 熊德智;陳向群;胡軍華;柳青;劉小平;楊茂濤;黃瑞;溫和;歐陽黎;陳浩;曾文偉
• 申請（專利權）人: 國網湖南省電力有限公司;國網湖南省電力有限公司供電服務中心（計量中心）;國家電網有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06Q10/06;G06Q50/06
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 周長清;廖元寶

本發明公開了一種基于RGB圖像的行為識別方法、裝置、介質及設備，屬于行為識別技術領域，用于解決目前服務場合無行為規范智能識別分析的技術問題，方法包括步驟：1)對RGB圖像進行預處理，將工作人員的區域分割出來，對目標進行捕捉或跟蹤；2)提取圖像特征參數，送入循環神經網絡中，得到圖像特征參數與高維向量的映射；3)在得到視頻幀的高維向量的基礎上，建立分類器模型，建立從高維向量到最終不規范行為類別的映射，并對分類器模型進行訓練；4)獲取監測視頻信息中的RGB圖像，基于訓練好的分類器模型，對供電營業廳服務人員的行為進行識別。本發明具有對服務人員行為智能識別分析、識別精度高、提高工作效率和服務水平等優點。

技術領域

本發明主要涉及行為識別技術領域，特指一種基于RGB圖像的行為識別方法、裝置、介質及設備。

背景技術

供電營業廳是供電企業最重要的服務窗口，具有溝通、展示和傳播企業形象的重要社會功能。供電營業廳是供電企業的窗口前沿，代表了供電企業的形象。客戶到供電營業廳辦理各項用電業務，首先接觸到的就是供電營業廳的服務人員。因此，供電營業廳工作人員的服務技巧、待人接物的態度，往往決定了客戶對供電企業服務水平的認知程度。一些工作人員的散漫、懈怠行為，如工作時間玩手機、睡覺、態度惡劣等都會給客戶留下極其不好的印象。加之如今是個信息化的時代，微博等自媒體使用廣泛，若被不滿的客戶發布信息至網上，容易造成企業的形象以及大量經濟損失。目前供電營業廳服務具有完善的規范制度，但往往存在執行不到位，難于監管的情況，如果僅僅依賴主管部門的現場稽查，很難起到很好的監督和管控作用。開展對營業廳行為規范智能識別、分析與預警研究，探索建立示范工程顯得十分必要。

發明內容

本發明要解決的技術問題就在于：針對現有技術存在的技術問題，本發明提供一種操作簡便、識別精度高、提高工作效率和服務水平的基于RGB圖像的行為識別方法、裝置、介質及設備。

為解決上述技術問題，本發明提出的技術方案為：

一種基于RGB圖像的行為識別方法，其特征在于，包括步驟：

1)對視頻幀中的RGB圖像進行預處理，將工作人員的區域分割出來，對目標進行捕捉或跟蹤；

2)提取預處理后的RGB圖像中的圖像特征參數，送入循環神經網絡中，得到圖像特征參數與高維向量的映射；

3)在得到視頻幀的高維向量的基礎上，建立最終的分類器模型，建立從高維向量到最終不規范行為類別的映射，并對分類器模型進行訓練；

4)獲取監測視頻信息中的RGB圖像，基于訓練好的分類器模型，對供電營業廳服務人員的行為進行識別。

作為上述技術方案的進一步改進，所述步驟3)具體為：

3.1)將步驟2)中的每個用作特征提取的視頻幀單元稱為一個片段，而將每次輸出的高維向量記作片段動作分數，最終對于一個包含T幀圖像的視頻，得到等長的SAS特征序列；

3.2)在獲得長度為T的特征序列后，將其用作SSAD模型的輸入；其中SSAD模型是一個全部由時序卷積構成的網絡，主要包括三種卷積層：基層、錨框層以及預測層，其中基層的作用為縮短特征序列的長度，并增大特征序列中每個位置的感受野；

3.3)接下來SSAD模型中繼續使用來縮小特征序列的長度，錨框層輸出的特征序列中的每個位置都被關聯了多個尺度的錨框實例；

3.4)之后，再通過預測層，來獲取每個錨框實例所對應的坐標偏移量，重疊置信度，以及類別分類結果；

3.5)通過多層時間尺度不斷縮小的特征序列，SSAD模型獲得由小到大各個時間尺度的動作實例預測，建立最終的分類器模型。

作為上述技術方案的進一步改進，在步驟3)中，還包括分類器模型的訓練：