[發明專利]一種基于視覺的客人排隊長度和等待時間的即時測量方法

有效

• 申請號: 202011038441.2
• 申請日: 2020-09-28
• 公開（公告）號: CN112288792B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 林宇;楊惠雯;趙宇迪
• 申請（專利權）人: 上海數川數據科技有限公司
• 主分類號: G06T7/60
• 分類號: G06T7/60
• 代理公司: 宿遷市永泰睿博知識產權代理事務所(普通合伙) 32264
• 代理人: 李忠洋

1.一種基于視覺的客人排隊長度和等待時間的即時測量方法，包括測量系統，其特征在于：所述測量系統包含有高清監控相機、人形特征描述器、排隊長度估計器和等待時間估計器；

所述基于視覺的客人排隊長度和等待時間的即時測量方法，包括排隊長度測量算法和排隊等待時間測量算法；

排隊長度測量算法執行過程如下；

S301：接收到Ti時刻圖像幀上的人形框集合，它由若干個人形框特征Fi組成，每個人形框特征對應于Ti時刻排隊區域內的某一個排隊客人；

S302：將排隊區域沿排隊方向每隔30cm定義一個位置網格，將所有位置網格初始化為0，遍歷Ti時刻人形框集合的每一個人形框特征Fi，根據Fi中的2D圖像坐標(x,y,w,h)換算該人形在排隊區域中的地面物理坐標(X,Z)，計算方法是

其中(x,y)是人形框的2D圖像坐標，f是高清監控相機2的焦距，H是相機的安裝高度，θ是相機的向下傾角，根據(X,Z)確定該人形落入哪一個位置網格，將對應的位置網格置1，從而得到Ti時刻的排隊區域位置網格表；

S303：將Ti時刻和Ti-1時刻的排隊區域位置網格表進行加權合并；

S304：從左到右遍歷更新后的Ti時刻排隊區域位置網格表，直到遇到連續兩個小于0.6的位置，記這時已遍歷的位置網格數為N，則以下列公式作為當前排隊長度的測量值Li，其中Wc為每個網格沿排隊方向的物理尺寸L_i＝N*W_c；

排隊等待時間測量算法執行過程如下：

S401：接收到[Tk,Ti]時間窗口內的圖像幀上的人形框特征池，Tk～Ti的時間區間寬度為10分鐘，該特征池由若干個時刻的人形框集合組成，每個時刻的人形框集合由若干個人形特征Fi組成，每個人形框特征對應于對應時刻排隊區域內的某一個排隊客人；

S402：“人形對匹配模塊”使用深度學習身份模型對[Tk，Ti]時間窗口的人形框特征池中的人形框按照客人的身份特征進行聚類，身份模型采用PCB網絡模型，聚類采用歐式距離，聚類閾值取0.4，即兩個人形框身份特征向量的歐式距離小于0.4時，認為兩個人形框屬于同一身份類別，將滿足該閾值條件的人形框合并，得到若干個客人在該時段內的人形框類別P_A，P_B…P_N；

由于排隊時客人的姿態不斷變化，因此只有一部分排隊的客人的人形框能被身份模型準確地匹配到，選取較保守的聚類閾值使滿足閾值條件的人形框對實際上是同一人的概率大于80％；

S403：聚類后的人形框類別P_A，P_B…P_N，分別代表排隊客人P_A，P_B…P_N在[Tk,Ti]時段內被身份模型匹配到的人形框的特征集合，遍歷其中的每一個類別，以P_A為例，按時間先后順序對類別內的人形框進行排序，提取類別內時間戳最早的人形框特征F_t1，和時間戳最晚的人形框特征F_t2，根據F_t1，F_t2中的2D圖像坐標(x,y,w,h)換算該人形在排隊區域中的地面物理坐標(X_t1,Z_t1)、(X_t2,Z_t2)，忽略t2-t1小于30秒的類別，然后根據以下公式計算該客人在這本時段內的排隊速度V_A；

其中Dot(·)代表向量點積，代表沿排隊方向的單位矢量，同理得到其他匹配人形框數量大于等于2的類別的排隊速度V_A、V_B...V_N；

S404：V_A、V_B...V_N中出現頻率最高的速度值就是該時段排隊人群整體的平均移動速度，以1cm/s為網格單位建立速度直方圖，將V_A、V_B...V_N投入相應的網格中，取落入數量最高的網格的速度值為Ti時刻排隊前進速度的測量值V_Ti；

S405：根據Ti時刻的排隊前進速度測量值V_Ti和Ti時刻排隊長度的測量值L_i，計算出Ti時刻如果有新客進入排隊，他將等待的排隊時間為W_i＝(L_i/V_Ti)*0.8+W_i-1*0.2，其中W_i-1為i-1時刻的排隊等待時間測量值。