[發(fā)明專利]基于視頻的雙向客流通道中的單向客流信息檢測方法

在審

• 申請?zhí)枺?/td>: 202011442479.6
• 申請日: 2020-12-11
• 公開（公告）號: CN112560641A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 謝征宇;吳劍凡;秦勇;賈利民
• 申請（專利權(quán)）人: 北京交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;H04N7/18
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 黃曉軍

1.一種基于視頻的雙向客流通道中的單向客流信息檢測方法，其特征在于，包括：

獲取雙向客流通道場景下的視頻圖像，使用目標(biāo)檢測算法對視頻圖像進(jìn)行客流目標(biāo)檢測；

利用改進(jìn)的DeepSort算法對視頻圖像中的客流目標(biāo)進(jìn)行目標(biāo)跟蹤，獲取所述雙向客流通道中的單向客流統(tǒng)計(jì)信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的獲取雙向客流通道場景下的視頻圖像，使用目標(biāo)檢測算法對視頻圖像進(jìn)行客流目標(biāo)檢測，包括：

獲取一段雙向客流通道場景下的視頻圖像，按照設(shè)定的采樣時(shí)間間隔提取并保存所述視頻圖像中的連續(xù)幀圖像；

利用Keras-YOLOv3算法對每幀圖像進(jìn)行客流目標(biāo)檢測，獲取每幀圖像中的客流目標(biāo)的檢測框以及檢測框四個(gè)頂點(diǎn)的坐標(biāo)和置信度。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述的利用改進(jìn)的DeepSort算法對視頻圖像中的客流目標(biāo)進(jìn)行目標(biāo)跟蹤，獲取所述雙向客流通道中的單向客流統(tǒng)計(jì)信息，包括：

將檢測到的每幀圖像中的客流目標(biāo)的檢測框進(jìn)行篩選，只保留檢測框的置信度大于最小置信度閾值的檢測框，利用非極大值抑制去除重疊率超過80％的檢測框，利用篩選后的每幀圖像的檢測框來創(chuàng)建每幀圖像中的客流目標(biāo)對應(yīng)的初始跟蹤位置；

根據(jù)每幀圖像中的客流目標(biāo)對應(yīng)的初始跟蹤位置使用卡爾曼濾波預(yù)測前一幀圖像中客流目標(biāo)的軌跡在當(dāng)前幀圖像中的狀態(tài)；

根據(jù)前一幀圖像中客流目標(biāo)的軌跡在當(dāng)前幀圖像中的狀態(tài)使用匈牙利算法對當(dāng)前幀圖像與其它幀圖像相繼進(jìn)行級聯(lián)匹配和交并比匹配，得到當(dāng)前幀圖像的所有匹配對、未匹配的客流軌跡以及未匹配的跟蹤；對每個(gè)匹配成功的客流軌跡，用客流軌跡對應(yīng)的跟蹤進(jìn)行更新，并處理未匹配的客流軌跡和跟蹤；

依次選取除當(dāng)前幀圖像之外的其它幀圖像，對每個(gè)其它幀圖像依次循環(huán)迭代執(zhí)行上述檢測框篩選、卡爾曼濾波和匈牙利算法匹配過程，獲取每幀圖像的所有匹配對、未匹配的客流軌跡以及未匹配的跟蹤；

判斷每幀圖像匹配成功的軌跡是否穿過指定的標(biāo)識線，根據(jù)匹配成功的穿過指定的標(biāo)識線的個(gè)數(shù)統(tǒng)計(jì)所述雙向客流通道中的單向客流流量。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述的利用篩選后的每幀圖像的檢測框來創(chuàng)建每幀圖像中的客流目標(biāo)對應(yīng)的初始跟蹤位置，包括：

通過檢測框的四個(gè)頂點(diǎn)得到客流目標(biāo)對應(yīng)的初始跟蹤框中初始軌跡的中心坐標(biāo)，用一個(gè)8維空間表示軌跡在某時(shí)刻的狀態(tài)：(u,v,γ,h,x^.,y^.,γ^.,h^.)，其中(u,v)是檢測框的中心坐標(biāo)，r是長寬比，h表示高度，其余四個(gè)變量表示軌跡對應(yīng)的在圖像坐標(biāo)系中的速度信息。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述的根據(jù)前一幀圖像中客流目標(biāo)的軌跡在當(dāng)前幀圖像中的狀態(tài)使用匈牙利算法對當(dāng)前幀圖像與其它幀圖像相繼進(jìn)行級聯(lián)匹配和交并比匹配，得到當(dāng)前幀圖像的所有匹配對、未匹配的客流軌跡以及未匹配的跟蹤，包括：

根據(jù)前一幀圖像中客流目標(biāo)的軌跡在當(dāng)前幀圖像中的狀態(tài)采用匈牙利算法輸出當(dāng)前幀圖像的檢測框和跟蹤框的匹配結(jié)果，對基于外觀信息的馬氏距離計(jì)算軌跡和跟蹤的代價(jià)矩陣，相繼進(jìn)行級聯(lián)匹配和交并比匹配，級聯(lián)匹配中軌跡的最大匹配次數(shù)參數(shù)max_age設(shè)置為80，n_hits的參數(shù)設(shè)置為6，即連續(xù)6幀該軌跡都得到匹配，才認(rèn)為匹配成功；在開始匹配的時(shí)候設(shè)置當(dāng)前幀圖像的軌跡處于不確定態(tài)，若干次匹配之后，如果匹配成功的次數(shù)大于連續(xù)6幀的話，軌跡會(huì)從初始態(tài)轉(zhuǎn)換成確定態(tài)，如果軌跡在大于設(shè)定的匹配次數(shù)后一直沒有匹配到跟蹤框，則將軌跡進(jìn)入刪除態(tài)，匹配過程結(jié)束后得到當(dāng)前幀圖像的所有匹配對、未匹配的軌跡以及未匹配的跟蹤，如果連續(xù)的6幀中潛在的新的追蹤器對目標(biāo)位置的預(yù)測結(jié)果都能夠與檢測結(jié)果正確關(guān)聯(lián)，那么則確認(rèn)是出現(xiàn)了新的運(yùn)動(dòng)目標(biāo)；如果不能達(dá)到該要求，則認(rèn)為是出現(xiàn)了虛警，需要?jiǎng)h除該運(yùn)動(dòng)目標(biāo)，未匹配的軌跡就會(huì)被刪除，未匹配的跟蹤就會(huì)初始化，轉(zhuǎn)變?yōu)樾碌能壽E類。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，所述的判斷每幀圖像匹配成功的軌跡是否穿過指定的標(biāo)識線，根據(jù)匹配成功的穿過指定的標(biāo)識線的個(gè)數(shù)統(tǒng)計(jì)所述雙向客流通道中的單向客流流量，包括：

在雙向客流通道中設(shè)置標(biāo)識黃線，判斷每幀圖像中匹配成功的處于確定態(tài)的軌跡會(huì)是否與所述標(biāo)識黃線相交，如果是，則記錄這個(gè)軌跡的ID；否則，不記錄這個(gè)軌跡的ID，將記錄的軌跡的ID的總數(shù)來作為所述雙向客流通道中的單向客流流量。