[發明專利]一種基于動態機器視覺的營業廳客流計數方法及設備

在審

• 申請號: 202110832883.2
• 申請日: 2021-07-22
• 公開（公告）號: CN113470082A
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 王偉福;朱軍;徐君;吳瓊;章美丹;林景;傅家偉;施禾青;畢士凡;何佳;陳元中;阮箴;王豐;高瓊;洪瀟;葛群波;黃文滔;陳慧增;駱麗杭
• 申請（專利權）人: 國網浙江省電力有限公司杭州供電公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/00;G06K9/20
• 代理公司: 成都君合集專利代理事務所(普通合伙) 51228
• 代理人: 尹新路

1.一種基于動態機器視覺的營業廳客流計數設備，用于對場所內的客流進行計數統計，其特征在于，包括上位機、動態機器視覺檢測系統、可進行俯仰軸轉動、偏航軸轉動和翻滾軸轉動的可變云臺，在可變云臺上設置有圖像采集器，所述圖像采集器的采集端為可變倍、變焦和變光圈的可變鏡頭；

所述動態視覺檢測系統分別與所述可變云臺、可變鏡頭以及上位機連接。

2.一種基于動態機器視覺的營業廳客流計數方法，基于權利要求1所述的一種基于動態機器視覺的營業廳客流計數設備，用于對場所內的客流進行計數統計，其特征在于，包括以下步驟：

步驟1：使用圖像采集器進行圖像采集；

步驟2：根據采集到的圖像進行可變云臺的姿態調整和可變鏡頭的調整；

步驟3：使用采集的圖像進行人臉識別、人體識別；然后對識別到的人臉和人體采用人臉和人體匹配算法進行匹配；然后采用跟蹤算法對匹配了人臉和人體的目標進行跟蹤；

步驟4：根據步驟3的識別情況對可變云臺的姿態進行再次調整，以及對可變鏡頭進行再次調整；調整后再次對圖像數據進行步驟3的處理；

步驟5：根據持續跟蹤和識別的結果進行數據的匯總，得出最終的客流計數。

3.如權利要求2所述的一種基于動態機器視覺的營業廳客流計數方法，其特征在于，所述步驟2的具體操作為：

步驟2.1：在連續幀的圖像中，對于監測到的目標物體匹配有外接矩形框，將外接矩形框的中心點逐漸往畫面的中心位置移動，直至目標物體位于采集的圖像的中心；

步驟2.2：當目標物體進入采集的圖像的中心后，設置外接矩形框占比閾值，當目標物體的外接矩形框占整個畫面的比例低于外接矩形框占比閾值時，對可變鏡頭進行變焦并改變視角。

4.如權利要求2所述的一種基于動態機器視覺的營業廳客流計數方法，其特征在于，所述步驟3的具體操作包括：

步驟3.1：使用采集的圖像進行人臉識別、人體識別；然后對識別到的人臉和人體采用人臉和人體匹配算法進行匹配，得到得到當前圖像中包含p個元素的行人檢測框集合p_boxes；

步驟3.2：對行人檢測框集合p_boxes中的每個元素采用跟蹤算法進行跟蹤，得到跟蹤器集合p_trackers，跟蹤器集合p_trackers中的每個跟蹤器中也包含針對當前外接矩形框的置信度；

步驟3.3：設置跟蹤隊列，將每個跟蹤器產生的每一個目標id所對應的特征向量保存到跟蹤列表中；然后在每次處理新的一幀圖像的時候，通過人臉和人體匹配算法來判斷當前幀中的目標id為當前中已有的目標或新出現的目標；

步驟3.4：用行人檢測框集合p_boxes中的每個外接矩形框截取相應的原圖區域作為人臉檢測的輸入數據，運行p次人臉檢測模型，得到檢測結果集合；然后取每次檢測結果集合中置信度最大的人臉檢測結果，得到p個人臉位置和置信度集合p_faces，人臉位置和置信度集合p_faces中可能包含空元素，即表示未在外接矩形框中檢測到人臉；

步驟3.5：遍歷人臉位置和置信度集合p_faces，對人臉位置和置信度集合p_faces中置信度大于閾值的元素進行人臉識別，得到人臉ID，實現對當前用戶的計數。

5.如權利要求4所述的一種基于動態機器視覺的營業廳客流計數方法，其特征在于，所述步驟4的具體操作為：

對于步驟3.5中，人臉位置和置信度集合p_faces中置信度未大于閾值的元素，調整可變云臺的姿態并對可變鏡頭進行調整；調整后再次對對應元素進行圖像采集，然后對采集到的圖像進行步驟3的操作。