[發明專利]一種柜面助手履職監控裝置和方法

在審

• 申請號: 201911384076.8
• 申請日: 2019-12-28
• 公開（公告）號: CN111079694A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 席道亮;許野平;劉辰飛;陳英鵬;張朝瑞;高朋
• 申請（專利權）人: 神思電子技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 商金婷

1.一種柜面助手履職監控裝置，包括視頻幀子系統(1)，其特征在于：

所述視頻幀子系統(1)電性連接目標檢測子系統(3)；

所述目標檢測子系統(3)電性連接目標過濾子系統(5)；

所述目標過濾子系統(5)分別電性連接睡覺判別子系統(7)、玩手機判別子系統(8)、離崗判別子系統(9)和聊天判別子系統(10)；

所述睡覺判別子系統(7)、所述玩手機判別子系統(8)、所述離崗判別子系統(9)和所述聊天判別子系統(10)分別電性連接異常報警子系統(11)。

2.一種柜面助手履職監控裝置的使用方法，其特征在于，包括以下步驟：

步驟一：所述視頻幀子系統(1)將視頻幀數據處理成JPG數據集合(2)，所述視頻幀子系統(1)將所述JPG數據集合(2)輸入到所述目標檢測子系統(3)；

步驟二：所述目標檢測子系統(3)根據所述JPG數據集合(2)生成此張圖片中的目標集(4)，每個所述目標集(4)內包括以下信息：每個目標的左上角坐標(x₁,y₁)和右下角坐標(x₂,y₂),以及目標類別標號；

步驟三：所述目標檢測子系統(3)將所述目標集(4)輸入到所述目標過濾子系統(5)中，所述目標過濾子系統(5)將所述目標集(4)進行目標的濾除輸出新的目標集(6)，利用面積公式(y₂-y₁)*(x₂-x₁)計算出每個目標框的面積大小，因為該設備主要針對近距離目標檢測異常行為，因此對于畫面背景中出現的距離較遠的目標必須濾除掉，降低對檢測結果的影響，根據圖片分辨率大小640x480，分別對每個目標設置閾值，例如對于目標類別人設置閾值為7000，對于目標類別頭設置閾值為5000；

步驟四：所述目標過濾子系統(5)將所述新的目標集(6)輸入到所述睡覺判別子系統(7)中，所述睡覺判別子系統(7)依據所述目標集(6)中類別人的左上角(x_1person,y_1person)坐標和右下角(x_2person,y_2person)坐標，計算人這類別的目標框的寬度w和高度h，令w_person＝x_2person-x_1person，h_person＝y_2person-y_1person得到該類別目標框的w_person和h_person，根據w_person和h_person的比例關系判斷該目標是否處在坐立狀態還是可能趴著睡覺的狀態，如果是前者判斷該張圖片為無睡覺行為，如果是后者則進一步判斷是否處于睡覺狀態，判定規則如下：對目標類別人中的寬度w_person進行十等分點的劃分，計算二等分點和八等分點的坐標的橫坐標軸x的大小，令x_Leftperson＝x_1person+0.2*w_person，x_Rightperson＝x_1person+0.8*w_person，同樣的方法計算目標類別頭部的x_LeftHead和x_RightHead分別比較x_LeftHead與x_Leftperson和x_Rightperson與x_RightHead的值的大小，當x_1personx_LeftHeadx_Leftperson或者x_Rightpersonx_RightHeadx_2person時，判定該目標處于睡覺狀態；

步驟五：所述目標過濾子系統(5)將所述新的目標集(6)輸入到所述玩手機判別子系統(8)中，所述玩手機判別子系統(8)依據所述目標集(6)中目標類別，應該首先判定是否同時出現了人、手、手機，三個類別，如果出現了利用判定規則進行判定，判定規則如下：規定人的兩個坐標為(x_1person,y_1person),(x_2person,y_2person)，手機的兩個坐標為(x_1phone,y_1phone)，(x_2phone,y_2phone)；

步驟五一：計算手機區域面積Area_phone＝(y_2person-y_1person)*(x_2person-x_1person)；

步驟五二：計算類別人和手機的交集面積，計算交集區域左上角和右下角的坐標(x₁,y₁),(x₂,y₂)，令x₁＝max(x_1person,x_1phone)，y₁＝max(y_1person,y_1phone)，x₂＝min(x_2person,x_2phone)，y₂＝min(y_2person,y_2phone)，判斷x₂-x₁和y₂-y₁值的正負，如果有一個值為負，說明類別人和手機沒有交集，判斷為正常狀態，否則計算交集面積Area_iou＝(y₂-y₁)*(x₂-x₁)，計算交集面積占手機面積的比例p＝Area_iou/Area_phone，設定閾值thresh＝0.2的大小，當p＞thresh的時候，判定為玩手機的狀態；

步驟六：所述目標過濾子系統(5)將所述新的目標集(6)輸入到所述離崗判別子系統(9)中，所述離崗判別子系統(9)依據所述目標集(6)中目標類別，應該首先判定是否檢測到了類別人，如果沒有人則進行判斷，判定規則如下：連續檢測n次，如果出現有n/2次以上存在無人狀態，則判定為離崗，否則為正常狀態；

步驟七：所述目標過濾子系統(5)將所述新的目標集(6)輸入到所述聊天判別子系統(10)中，所述聊天判別子系統(10)依據所述目標集(6)中目標類別，應該首先判定是否檢測到了類別人和頭，如果同時出現多個人和頭進行判斷，判定之前需要對檢測到的頭和人的圖像特征進行相似性對比，篩選出圖片的前景是否真出現了兩個人而不是背景中出現的人，定義表示圖像特征相似性結果，則：

如果確定圖片前景中存在兩個人，則進行判定，判定規則如下：連續檢測n次，如果出現n/2次以上存在多個人和頭的狀態，則判定為聊天，否則正常狀態；

步驟八：如果所述睡覺判別子系統(7)、所述玩手機判別子系統(8)、所述離崗判別子系統(9)和所述聊天判別子系統(10)任意子系統出現異常行為狀態，所述異常報警子系統(11)將報警信息傳輸到所述上層應用端，報警信息包括：異常行為圖片、異常行為坐標信息，所述上層應用端將報警信息傳輸到web服務端，由管理員自行登錄查看操作。

3.根據權利要求2所述的柜面助手履職監控裝置使用方法，其特征在于：所述目標檢測子系統(3)需要對整張圖片進行檢測，分類并定位圖片中的目標，其過程如下：

目標定位原理：首先定義輸入的圖片的集合為{(Pⁱ,Gⁱ)}_i＝1,..,N,

其中：Pⁱ表示第i個帶預測的候選目標檢測框即region proposal；

Gⁱ表示第i個真實目標檢測框即ground-truth；

在本目標檢測算法中，Pⁱ是根據真實訓練集的對所有的ground-truth利用K-means算法計算得到的；

在Pⁱ中，表示候選的目標框的中心點在原始圖像中的x坐標；

表示候選的目標框的中心點在原始圖像中的y坐標；

表示候選目標框的長度；

表示候選目標框的寬度；

Gⁱ表示的是ground-truth四維特征，其含義與Pⁱ一樣，則Pⁱ與Gⁱ的映射關系為：

其映射關系表示要找到一種映射函數f，當輸入Pⁱ時，得到的能夠無限接近Gⁱ；

邊界框的回歸是利用平移變換和尺度變換來實現映射的，平移變換的計算公式如下：

尺度變換的計算公式如下：

其中：d_*(P)(*代表x,y,w,h)，接下來將圖像的特征輸入到線性函數里求解這4個變化；

令特征為則

利用最小二乘法或者梯度下降算法求解，其公式為：

其中：

定義預測邊框時c_x,c_y是相對于圖片P_x左上角的位置，每個小格的長度為1，σ(t_x),σ(t_y)分別是經過sigmoid輸出的0-1之間的偏移量，所以預測的目標框的(x,y,w,h)為：

生成此張圖片中的所述目標集(4)，目標集內包括以下信息：每個目標的左上角坐標(x₁,y₁)和右下角坐標(x₂,y₂),坐標計算過程為：

此外目標集內信息能夠表示出每個目標框的目標類別。