[發明專利]一種基于深度學習的全天候視頻監控方法

有效

• 申請號: 201410557880.2
• 申請日: 2014-10-20
• 公開（公告）號: CN104320617B
• 公開（公告）日: 2017-09-01
• 發明（設計）人: 黃凱奇;康運鋒;曹黎俊;張旭
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: H04N7/18
• 分類號: H04N7/18;G06T7/00
• 代理公司: 中科專利商標代理有限責任公司11021
• 代理人: 宋焰琴

1.一種基于深度學習的全天候視頻監控方法，其特征在于，該方法包括以下步驟：

步驟1，實時采集視頻流，基于得到的視頻流通過對預先設定的標定線區域內覆蓋的像素進行采樣獲得多幅原始采樣圖樣本，以及速度采樣圖樣本；

步驟2，對于得到的速度采樣圖樣本進行時空矯正；

步驟3，基于原始采樣圖和速度采樣圖，離線訓練得到深度學習模型，所述深度學習模型包括分類模型和統計模型；

步驟4，利用所述步驟3得到的深度學習模型對于實時視頻流進行人群狀態分析。

2.根據權利要求1所述的方法，其特征在于，所述步驟1進一步包括以下步驟：

首先，對于所述視頻流中的每幀圖像，在行人進出門的位置處，設置一個寬度固定為n像素、長度覆蓋整個門的標定線l_n，作為人進出的虛擬門界限；

然后，提取所述視頻流中每隔f幀的圖像F中所述標定線覆蓋的像素，每經過固定時間間隔t，采樣得到的所有像素組成原始采樣圖像I；

在采樣標定線覆蓋的像素時，使用光流法計算每個像素的速度與運動方向，每經過固定時間間隔t，采樣得到的所有像素的運動方向組成速度采樣圖。

3.根據權利要求1所述的方法，其特征在于，所述速度采樣圖中，使用RBG不同的通道表示行人不同的運動方向，其中，R通道和G通道表示兩個不同運動方向的像素點，B通道表示沒有運動的像素點。

4.根據權利要求1所述的方法，其特征在于，所述步驟2中，利用圖像平面上不同像素的貢獻對于所述速度采樣圖樣本進行空間矯正，利用不同像素點的速度值對于所述速度采樣圖進行時間矯正。

5.根據權利要求4所述的方法，其特征在于，經過空間和時間矯正后的速度采樣圖I’_s表示為：

I_s＝I_s*S_C(x，y)*S(F_t(l_n))，

其中，I_s表示空間和時間矯正前的速度采樣圖，S_C(x，y)表示圖像平面上任意一個像素I(x，y)的幾何貢獻因子，S(F_t(l_n))表示時間矯正系數：S(F_t(l_n))＝Speed(F_t(l_n))/N_s，N_s為標準速度值，Speed(F_t(l_n))表示時間t時圖像幀F中標定線l_n覆蓋的像素點的速度大小。

6.根據權利要求1所述的方法，其特征在于，所述分類模型可將速度采樣圖分為4類：速度采樣圖中只有進入的人、速度采樣圖中只有出的人、速度采樣圖中有進有出的人、速度采樣圖中無人進出。

7.根據權利要求1所述的方法，其特征在于，所述統計模型進一步包括統計人群數量模型和統計進出人群模型，其中，所述統計人群數量模型用于統計原始采樣圖中人群的總數量；所述統計進出人群模型用于統計有進有出類別的速度采樣圖中進入人群所占的比例。

8.根據權利要求1所述的方法，其特征在于，所述統計模型使用卷積神經網絡訓練得到，其中，用于訓練統計人群數量模型的卷積神經網絡包括輸入層、5個卷積層、2個全連接層以及輸出層；用于訓練統計進出人群模型的卷積神經網絡包括輸入層、3個卷積層、1個全連接層以及輸出層。

9.根據權利要求1所述的方法，其特征在于，所述步驟4進一步包括以下步驟：

步驟41，與所述步驟1類似，基于所述實時視頻流對預先設定的標定線區域內覆蓋的像素進行采樣獲取多幅原始采樣圖以及速度采樣圖；

步驟42，與所述步驟2類似，對于所述步驟41得到的速度采樣圖分別進行時空矯正；

步驟43，利用所述深度學習模型中的分類模型對于所述速度采樣圖分別進行分類，判斷得到所述速度采樣圖所屬的類別；

步驟44，根據所述速度采樣圖所屬的類別，使用所述深度學習模型中的統計模型分別分析原始采樣圖中的人群信息；

步驟45，對于多幅原始采樣圖對應的人群信息進行整合，獲得所述實時視頻流對應時段內的精確人群信息。

10.根據權利要求9所述的方法，其特征在于，所述步驟44中，對于無人進出的類別，人群數量統計為零；對于-只有出去和只有進入的類別，使用所述統計模型中的統計人群數量模型統計人群數量；對于有進有出的類別，使用所述統計模型中的統計進出人群模型統計得到進入人數所占的比例，并結合所述統計人群數量模型得到的人群數量統計結果，最終分別獲得進入和出去的人數。