[發明專利]基于攝像頭的室內行人檢測和跟蹤方法

有效

• 申請號: 201911405374.0
• 申請日: 2019-12-31
• 公開（公告）號: CN111199556B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 李靜楠;劉兒兀;王睿
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/215;G06T7/11;G06T7/194;G06T7/80;G06T5/00
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

1.一種基于攝像頭的室內行人檢測和跟蹤方法,其特征在于，包括如下步驟

步驟1、準備工作

首先，配置好攝像頭參數，設置好行人的像素閾值；

接著，攝像頭固定好；

最后，判斷攝像頭是否正常打開，如果攝像頭正常，就繼續執行程序，否則，終止程序運行；

步驟2、相機標定

在攝像頭視野中，建立世界坐標系，選取不在同一直線上的4個點，認為所有的點都在xoy平面，即z坐標為0，以圖中O點為原點，為x軸正方向，為y軸正方向建立坐標系；

在確定世界坐標下的點之后，通過皮尺，測出|OA|、|OB|實際的距離，并且將A、B點在世界坐標系下的坐標記錄下來；

接下來，通過攝像頭采集圖片，記錄下O、A、B點在圖片中的像素坐標，通過畫圖軟件或openCV軟件獲得像素坐標；

最后，將每個點的像素坐標與世界坐標系坐標對應起來，通過調用openCV的solvePnP()函數求解旋轉矩陣R和平移矩陣T，得到相機外參；提供給步驟5；

步驟3、對攝像頭采集到的視頻進行處理，找出行人輪廓

首先，將每一幀圖像由彩色轉化為灰度圖片；

然后，進行背景建模，采用KNN背景建模算法，對視頻區域進行背景建模，將前景和背景區分開，背景隨著時間的推移而不斷更新；

然后，對進入視野范圍的運動物體進行檢測，對結果進行中值濾波、腐蝕、膨脹操作，去除噪點并且填充空洞，對識別出來的運動物體進行篩選，將不是行人的目標刪除，進而得到行人區域；

最后，將每一幀檢測出來的行人輪廓detectedPeople存儲在當前幀detectedContours數組中；提供給步驟4；

步驟4、行人跟蹤

在進行行人跟蹤之前，首先將圖片轉化到HSV區域模型，然后再對檢測出來的每一個位行人都使用Cam?Shift算法進行跟蹤：

對上一幀的detectedPeople數組中的行人輪廓逐個進行跟蹤，跟蹤結果與detectedContours中的輪廓進行匹配，如果匹配成功，那么比較兩者的中心位置距離，如果中心距離大于設定的閾值，則認為兩者不匹配，將繼續尋找；若中心位置距離符合條件，認為是同一個人，對detectedPeople數組中的行人輪廓進行更新；對于步驟3新檢測出來的成員，在輪廓匹配結束之后，加入本幀的detectedPeople數組中；對于離開的行人，如果連續消失幀數達到10幀，則認為行人已經離開，將其輪廓在detectedPeople數組中移除，更新detectedPeople數組；在檢測的同時，需要把確認為行人的軌跡進行存儲，在每一幀圖像中進行顯示，且圖像中行人軌跡將會隨著行人的離開而消失，不同的行人會用不同的顏色進行顯示，以示區分；提供給步驟5；

步驟5、轉換為世界坐標系下的行人軌跡

通過步驟2相機標定結果，對圖片進行矯正，并對步驟4中的行人軌跡的像素坐標進行轉換；

像素坐標系和世界坐標系之間的關系：

其中，f表示相機的焦距，其中fx＝f/dx為x軸歸一化焦距；fy＝f/dy為y軸歸一化焦距，它們的物理單位通常為mm；相機的內參矩陣為外參矩陣為[R?T]，其中旋轉矩陣記為平移矩陣記為由式(2.1)可知像素坐標轉化為世界坐標公式；將行人的中心位置的像素坐標系下的像素坐標(u，v)轉化為世界坐標系下的坐標(X_w，Y_w，Z_w)的形式；世界坐標系下的點的坐標為(X_w，Y_w，0)；式(2.1)寫為：

相機內參矩陣E為3*3的方陣，并且行列式不為0，因此相機內參矩陣E為可逆矩陣，式(2.2)可化簡為：

令

最終得到：

利用numpy.linalg.solve()函數，即可求解型的值，即可完成從像素坐標到世界坐標的轉化；從而將每條軌跡的像素坐標利用式(2.4)轉化為世界坐標，并且存儲在txt文件中，對每個行人的軌跡進行存儲，存儲形式為軌跡的世界坐標；

步驟6、根據步驟5中存儲的世界坐標形式軌跡，用不同的顏色繪制出行人軌跡，并顯示在已經進行過矯正的室內背景圖片上。