[發明專利]基于監控視頻信息的供電營業廳服務人員行為識別方法

在審

• 申請號: 202010151395.0
• 申請日: 2020-03-06
• 公開（公告）號: CN111401169A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 熊德智;陳向群;胡軍華;劉小平;柳青;楊茂濤;黃瑞;溫和;歐陽黎;陳浩;曾文偉
• 申請（專利權）人: 國網湖南省電力有限公司;國網湖南省電力有限公司供電服務中心（計量中心）;國家電網有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G10L19/26;G10L25/24;G10L25/30;G10L25/51;G10L25/63;G10L25/87;G06N3/04
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 周長清;廖元寶

1.一種基于監控視頻信息的供電營業廳服務人員行為識別方法，其特征在于，包括：

對視頻幀進行預處理，提取預處理后的視頻幀中的圖像特征參數，送入循環神經網絡中，得到圖像特征參數與高維向量的映射；

對語音信號進行預處理，提取預處理后的語音信號中的語音特征參數，送入循環神經網絡中，得到語音特征參數與高維向量的映射；

在得到視頻幀以及語音信號的高維向量的基礎上，構建最終的分類器模型，建立從高維向量到最終不規范行為類別的映射；

獲取監測視頻信息，基于分類器模型，對供電營業廳服務人員的行為進行識別。

2.根據權利要求1所述的基于監控視頻信息的供電營業廳服務人員行為識別方法，其特征在于，對視頻幀進行預處理包括：采用背景提取算法將工作人員的區域分割出來，并使用投票算法，計算連通域定位目標區域，對目標進行捕捉或跟蹤，最終得到只含有單一目標的圖像。

3.根據權利要求2所述的基于監控視頻信息的供電營業廳服務人員行為識別方法，其特征在于，將視頻流中相鄰兩幀或相隔幾幀圖像的兩幅圖像像素值相減，并對相減后的圖像進行閾值化來提取圖像中的運動區域；

或者將當前獲取的圖像幀與背景圖像做差分運算，得到目標運動區域的灰度圖，對灰度圖進行閾值化提取運動區域，其中背景圖像根據當前獲取圖像幀進行更新。

4.根據權利要求1或2或3所述的基于監控視頻信息的供電營業廳服務人員行為識別方法，其特征在于，對于不規范行為的識別需標定其具體的開始幀以及結束幀：提取視頻幀的特征序列，再用滑窗機制在視頻中的每個位置生成多個不同尺寸的提名，之后再對每個提名訓練一個動作分類器和一個排名來對提名進行分類和排序，并且采用CDC算法來對時序動作檢測中的動作邊界進行微調以使得動作邊界更加準確。

5.根據權利要求1或2或3所述的基于監控視頻信息的供電營業廳服務人員行為識別方法，其特征在于，對語音信號進行預處理包括：使用數字濾波器實現預加重，采用短時分析算法對具有時變特性的語音信號進行分幀，再進行加窗。

6.根據權利要求5所述的基于監控視頻信息的供電營業廳服務人員行為識別方法，其特征在于，對語音信號進行預處理還包括：采用雙門限比較法將語音信號進行端點檢測處理，檢測出語音的起始點以及結束點。

7.根據權利要求1或2或3中任意一項所述的基于監控視頻信息的供電營業廳服務人員行為識別方法，其特征在于，所述語音特征參數包括LPCC和MFCC；其中MFCC的得到過程：對于MFCC算法首先進行快速傅里葉變換(FFT)，再將實際頻率尺度轉換為Mel頻率尺度，配置三角形濾波器組并計算每一個三角形濾波器對信號幅度譜濾波后的輸出，最后對所有濾波器輸出作對數運算，再進一步做離散余弦變換DTC，即可得到MFCC。

8.一種基于監控視頻信息的供電營業廳服務人員行為識別裝置，其特征在于，包括：

視頻幀處理單元，用于對視頻幀進行預處理，提取預處理后的圖像特征參數，送入循環神經網絡中，得到圖像特征參數與高維向量的映射；

語音信號處理單元，用于對語音信號進行預處理，提取預處理后的語音信號中的語音特征參數，送入循環神經網絡中，得到語音特征參數與高維向量的映射；

分類器模型建立模塊，用于在得到視頻幀以及語音信號的高維向量的基礎上，構建最終的分類器模型，建立從高維向量到最終不規范行為類別的映射；

行為識別模塊，用于獲取監測視頻信息，基于分類器模型，對供電營業廳服務人員的行為進行識別。

9.一種計算機可讀存儲介質，其上儲存有計算機程序，其特征在于，所述計算機程序在被處理器運行時執行如權利要求1～7中任意一項所述的基于監控視頻信息的供電營業廳服務人員行為識別方法的步驟。

10.一種計算機設備，包括存儲器和處理器，所述存儲器上存儲有計算機程序，其特征在于，所述計算機程序在被處理器運行時執行如權利要求1～7中任意一項所述的基于監控視頻信息的供電營業廳服務人員行為識別方法的步驟。