[發明專利]基于Haar-NMF特征和級聯Adaboost分類器的脫崗檢測方法

有效

• 申請號: 201811065893.2
• 申請日: 2018-09-13
• 公開（公告）號: CN109190710B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 雷為民;王玉楠;張偉;關云沖;魏京天;李錦環
• 申請（專利權）人: 東北大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/771;G06K9/62
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 劉曉嵐

1.一種基于Haar-NMF特征和級聯Adaboost分類器的脫崗檢測方法，其特征在于：包括以下步驟：

步驟1、制作訓練樣本集；

步驟2、提取訓練樣本集中正樣本和負樣本圖片中人體頭肩部的Haar-NMF特征；

步驟3、通過基本分類器G_m(x)及其權重系數α_m加權組成單級強分類器G_x，然后將多個單級強分類器G_x串聯組成級聯Adaboost分類器，并將步驟2提取 的訓練樣本的Haar-NMF特征輸入該級聯Adaboost分類器進行訓練，得到保存訓練結果的.xml文件；

步驟4、對級聯Adaboost分類器訓練結果進行初步測試，具體方法為：

對輸入的測試圖片首先提取出測試圖片的Haar-NMF特征，然后將提取的Haar-NMF特征輸入步驟3訓練的級聯Adaboost分類器進行檢測，利用保存訓練結果的.xml文件進行檢測，檢測結果存在一定的誤檢和漏檢；

步驟5、根據檢測結果對級聯Adaboost分類的測試結果進行優化，具體方法為：

根據測試結果進行優化：針對漏檢問題，采用各補充2000張正負樣本再次訓練的方法進行解決；針對誤檢問題，在程序算法設計中，除了通過使用訓練好的分類器進行判斷之外，根據相鄰視頻幀的幀間關系補充了狀態機的判定方法，在一定程度上有效的抑制誤報，正確判定人員是否離崗；

步驟6、根據優化的結果調整脫崗檢測方法的訓練過程和檢測過程，并進行脫崗檢測；

所述訓練樣本集包括3000張正樣本和4000張負樣本；所述訓練樣本集來自三方面：一是監控運轉室的錄像，二是手機攝像頭采集的實驗室工位圖片，三是CVC標準行人檢測數據集；從這三部分中選取正負樣本的圖片，所述正樣本選取包含人的頭部和肩部的圖片，所述負樣本主要選取不同的室內背景圖片；

所述步驟2的具體方法為：

步驟2.1、提取訓練樣本集中正樣本和負樣本圖片中人體頭肩部的長度為L的Haar特征向量T，將其取絕對值后轉化為m×n的矩陣A，其中L＝m×n，mn；

步驟2.2、對轉化后的矩陣A進行秩為r的NMF分解，如下公式所示：

A＝W×K^T (1)

其中，W和K分別為m×r和n×r的非負的基矩陣和系數矩陣，且滿足r＜＜m；

步驟2.3、對矩陣W和K的每一個列向量按如下公式進行歸一化處理，即

步驟2.4、將所有的i_a級聯得到原Haar特征向量對應的Haar-NMF特征向量；

所述步驟3的具體方法為：

步驟3.1、對訓練數據的權重進行初始化，給每一個訓練樣本賦予同樣的權值，得到訓練數據的權重矩陣D_m，如下公式所示：

D_m＝(w_m1,w_m2,…w_mi…,w_mN) (3)

其中，N為訓練樣本的圖片總數；

步驟3.2、使用具有權值分布D_m的訓練數據集學習，選取使誤差率最低的閾值設計第m個基本分類器G_m(x)，m＝1、2、…、M，M為單級強分類器中基本分類器的個數，如下公式所示：

G_m(x)：x→[-1，+1} (4)

步驟3.3、計算基本分類器在訓練數據集上的分類誤差率，如下公式所示：

其中，e_m為第m個基本分類器G_m(x)在訓練數據集上的分類誤差率；

步驟3.4、計算出各個基本分類器在單級強分類器中所占的權重α_m，α_m表示不同的基本分類器G_m(x)在單級強分類器中的重要程度，如下公式所示：

步驟3.5、更新訓練數據集的權值分布，得到用于下一輪迭代的樣本新的權值分布，如下公式所示：

D_m+1＝(w_m+1,1,w_m+1,2,w_m+1,N) (7)

其中，

通過如下公式所示的規范化因子Z_m使D_m+1成概率分布：

步驟3.6、重復執行步驟3.2-3.5進行M次迭代運算，得到M個基本分類器；

步驟3.7、將多次迭代得到的M個基本分類器按照權重進行加權求和組成單級強分類器，進行加權求和輸出數值結果的過程如下公式所示：

將f(x)得到的數值進行sign運算得到的單級強分類器的判別結果如下公式所示：

其中，G_x為單級強分類器的判別結果，G_x＝+1表示有人，G_x＝-1表示沒人；

最后將多個單級強分類器串聯構成級聯Adaboost分類器，將步驟2提取 的訓練樣本的Haar-NMF特征訓練級聯Adaboost分類器，得到保存訓練結果的.xml文件；

步驟5所述相鄰視頻幀幀間關系狀態機的判定方法為：

(1)當檢測不到人時，首先在圖像中找人，當檢測到一幀圖像中有人時，繼續檢測進行確認，當檢測到與該幀圖像相鄰的連續5幀圖像中有3幀中有人或者連續5幀有3幀畫面中存在移動時，則判定畫面中有人，即值班人員在崗，否則確認有人失敗，值班人員脫崗；

(2)當連續檢測到有人狀態，突然某一幀無法檢測到人，則繼續在視頻序列中找人確認是否的確沒人，當接下來的連續5幀圖像中有2幀檢測不到有人或者連續5幀有4幀沒有檢測到存在移動時，則認定視頻中沒有人，否則值班人員在崗；

所述步驟6的具體方法為：

步驟6.1、補充正負樣本圖片對步驟3中的級聯Adaboost分類器重新訓練，訓練樣本選擇5000張正樣本和6000張負樣本，訓練樣本集來自三方面：一是來自于鐵路監控運轉室的錄像，二是手機攝像頭采集的實驗室工位圖片，三是CVC標準行人監測數據集；

步驟6.2、進行脫崗檢測，具體方法為：

輸入需要檢測的視頻流，并將輸入的視頻流分解為單幀圖片，圖片大小為1280*720，首先根據相鄰視頻幀的幀間關系進行狀態機判定，然后使用訓練結果.xml文件檢測當前視頻幀，用滑動窗口進行Haar-NMF特征提取，其中檢測子窗口的大小為30×30，步長為8，將提取的Haar-NMF特征輸入步驟3訓練的級聯Adaboost分類器進行檢測，加載入多個測試視頻，測試視頻的幀率為30fps，清晰度為720p，與單幀圖片檢測結果類似，測試時會出現部分的誤檢和虛位。