[發(fā)明專利]基于監(jiān)控視頻信息的供電營(yíng)業(yè)廳服務(wù)人員行為識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010151395.0
• 申請(qǐng)日: 2020-03-06
• 公開(kāi)（公告）號(hào): CN111401169A
• 公開(kāi)（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 熊德智;陳向群;胡軍華;劉小平;柳青;楊茂濤;黃瑞;溫和;歐陽(yáng)黎;陳浩;曾文偉
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)湖南省電力有限公司;國(guó)網(wǎng)湖南省電力有限公司供電服務(wù)中心（計(jì)量中心）;國(guó)家電網(wǎng)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G10L19/26;G10L25/24;G10L25/30;G10L25/51;G10L25/63;G10L25/87;G06N3/04
• 代理公司: 湖南兆弘專利事務(wù)所(普通合伙) 43008
• 代理人: 周長(zhǎng)清;廖元寶

本發(fā)明公開(kāi)了一種基于監(jiān)控視頻信息的供電營(yíng)業(yè)廳服務(wù)人員行為識(shí)別方法、裝置、介質(zhì)及設(shè)備，屬于行為識(shí)別技術(shù)領(lǐng)域，用于解決目前服務(wù)人員難于監(jiān)管的技術(shù)問(wèn)題，方法包括：對(duì)視頻幀進(jìn)行預(yù)處理，提取視頻幀的圖像特征參數(shù)，送入循環(huán)神經(jīng)網(wǎng)絡(luò)中，得到圖像特征參數(shù)與高維向量的映射；對(duì)語(yǔ)音信號(hào)進(jìn)行預(yù)處理，提取語(yǔ)音特征參數(shù)，送入循環(huán)神經(jīng)網(wǎng)絡(luò)中，得到語(yǔ)音特征參數(shù)與高維向量的映射；在得到視頻幀以及語(yǔ)音信號(hào)的高維向量的基礎(chǔ)上，構(gòu)建最終的分類器模型，建立從高維向量到最終不規(guī)范行為類別的映射；獲取監(jiān)測(cè)視頻信息，基于分類器模型，對(duì)供電營(yíng)業(yè)廳服務(wù)人員的行為進(jìn)行識(shí)別。本發(fā)明具有操作簡(jiǎn)便、識(shí)別精度高、提高工作效率和服務(wù)水平等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明主要涉及行為分析技術(shù)領(lǐng)域，特指一種基于監(jiān)測(cè)視頻信息的供電營(yíng)業(yè)廳服務(wù)人員行為識(shí)別方法、裝置、介質(zhì)及設(shè)備。

背景技術(shù)

供電營(yíng)業(yè)廳是供電企業(yè)最重要的服務(wù)窗口，具有溝通、展示和傳播企業(yè)形象的重要社會(huì)功能。供電營(yíng)業(yè)廳是供電企業(yè)的窗口前沿，代表了供電企業(yè)的形象?？蛻舻焦╇姞I(yíng)業(yè)廳辦理各項(xiàng)用電業(yè)務(wù)，首先接觸到的就是供電營(yíng)業(yè)廳的服務(wù)人員。因此，供電營(yíng)業(yè)廳工作人員的服務(wù)技巧、待人接物的態(tài)度，往往決定了客戶對(duì)供電企業(yè)服務(wù)水平的認(rèn)知程度。一些工作人員的散漫、懈怠行為，如工作時(shí)間玩手機(jī)、睡覺(jué)、態(tài)度惡劣等都會(huì)給客戶留下極其不好的印象。加之如今是個(gè)信息化的時(shí)代，微博等自媒體使用廣泛，若被不滿的客戶發(fā)布信息至網(wǎng)上，容易造成企業(yè)的形象以及大量經(jīng)濟(jì)損失。目前供電營(yíng)業(yè)廳服務(wù)具有完善的規(guī)范制度，但往往存在執(zhí)行不到位，難于監(jiān)管的情況，如果僅僅依賴主管部門的現(xiàn)場(chǎng)稽查，很難起到很好的監(jiān)督和管控作用。開(kāi)展對(duì)營(yíng)業(yè)廳行為規(guī)范智能識(shí)別、分析與預(yù)警研究，探索建立示范工程顯得十分必要。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題就在于：針對(duì)現(xiàn)有技術(shù)存在的技術(shù)問(wèn)題，本發(fā)明提供一種操作簡(jiǎn)便、識(shí)別精度高、提高工作效率和服務(wù)水平的基于監(jiān)測(cè)視頻信息的供電營(yíng)業(yè)廳服務(wù)人員行為識(shí)別方法、裝置、介質(zhì)及設(shè)備。

為解決上述技術(shù)問(wèn)題，本發(fā)明提出的技術(shù)方案為：

一種基于監(jiān)控視頻信息的供電營(yíng)業(yè)廳服務(wù)人員行為識(shí)別方法，包括：

對(duì)視頻幀進(jìn)行預(yù)處理，提取預(yù)處理后的視頻幀中的圖像特征參數(shù)，送入循環(huán)神經(jīng)網(wǎng)絡(luò)中，得到圖像特征參數(shù)與高維向量的映射；

對(duì)語(yǔ)音信號(hào)進(jìn)行預(yù)處理，提取預(yù)處理后的語(yǔ)音信號(hào)中的語(yǔ)音特征參數(shù)，送入循環(huán)神經(jīng)網(wǎng)絡(luò)中，得到語(yǔ)音特征參數(shù)與高維向量的映射；

在得到視頻幀以及語(yǔ)音信號(hào)的高維向量的基礎(chǔ)上，建立最終的分類器模型，建立從高維向量到最終不規(guī)范行為類別的映射；

獲取監(jiān)測(cè)視頻信息，基于分類器模型，對(duì)供電營(yíng)業(yè)廳服務(wù)人員的行為進(jìn)行識(shí)別。

作為上述技術(shù)方案的進(jìn)一步改進(jìn)：

對(duì)視頻幀進(jìn)行預(yù)處理包括：采用背景提取算法將工作人員的區(qū)域分割出來(lái)，并使用投票算法，計(jì)算連通域定位目標(biāo)區(qū)域，對(duì)目標(biāo)進(jìn)行捕捉或跟蹤，最終得到只含有單一目標(biāo)的圖像。

將視頻流中相鄰兩幀或相隔幾幀圖像的兩幅圖像像素值相減，并對(duì)相減后的圖像進(jìn)行閾值化來(lái)提取圖像中的運(yùn)動(dòng)區(qū)域；

或者將當(dāng)前獲取的圖像幀與背景圖像做差分運(yùn)算，得到目標(biāo)運(yùn)動(dòng)區(qū)域的灰度圖，對(duì)灰度圖進(jìn)行閾值化提取運(yùn)動(dòng)區(qū)域，其中背景圖像根據(jù)當(dāng)前獲取圖像幀進(jìn)行更新。

對(duì)于不規(guī)范行為的識(shí)別需標(biāo)定其具體的開(kāi)始幀以及結(jié)束幀：提取視頻幀的特征序列，再用滑窗機(jī)制在視頻中的每個(gè)位置生成多個(gè)不同尺寸的提名，之后再對(duì)每個(gè)提名訓(xùn)練一個(gè)動(dòng)作分類器和一個(gè)排名來(lái)對(duì)提名進(jìn)行分類和排序，并且采用CDC算法來(lái)對(duì)時(shí)序動(dòng)作檢測(cè)中的動(dòng)作邊界進(jìn)行微調(diào)以使得動(dòng)作邊界更加準(zhǔn)確。

對(duì)語(yǔ)音信號(hào)進(jìn)行預(yù)處理包括：使用數(shù)字濾波器實(shí)現(xiàn)預(yù)加重，采用短時(shí)分析算法對(duì)具有時(shí)變特性的語(yǔ)音信號(hào)進(jìn)行分幀，再進(jìn)行加窗。