[發(fā)明專利]一種基于雙目相機和深度學(xué)習(xí)技術(shù)的公交客流計數(shù)方法

在審

• 申請?zhí)枺?/td>: 201910799540.3
• 申請日: 2019-08-28
• 公開（公告）號: CN110516601A
• 公開（公告）日: 2019-11-29
• 發(fā)明（設(shè)計）人: 金鵬;王杰;包爾權(quán)
• 申請（專利權(quán)）人: 杭州律橙電子科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 11429 北京中濟緯天專利代理有限公司
• 代理人: 陳輝<國際申請>=<國際公布>=<進入國

1.一種基于雙目相機和深度學(xué)習(xí)技術(shù)的公交客流計數(shù)方法，其特征在于，包括以下步驟：

S1、視頻采集，通過安裝在公交車上的雙目相機采集乘客上下車的深度圖視頻；

S2、樣本標注，對步驟S1中的深度圖視頻進行篩選、截圖和標注并得到訓(xùn)練樣本；

S3、模型訓(xùn)練，對訓(xùn)練樣本進行訓(xùn)練并得到深度學(xué)習(xí)模型；

S4、運行深度學(xué)習(xí)模型并計數(shù)，從而對公交客流進行統(tǒng)計。

2.根據(jù)權(quán)利要求1所述的一種基于雙目相機和深度學(xué)習(xí)技術(shù)的公交客流計數(shù)方法，其特征在于，步驟S1中采集深度圖視頻的方法包括以下步驟：

S11、代價計算，通過安裝在公交車上的雙目相機分別采集左圖和右圖的原始圖像信號，并將左圖和右圖的原始圖像信號根據(jù)SAD算法得到圖像代價，以及將左圖和右圖的原始圖像信號經(jīng)過Sobel核卷積后再根據(jù)SAD算法得到梯度代價；

S12、代價聚合，對步驟S11中得到的圖像代價與梯度代價進行相加，并得到像素點的點代價值；

S13、形成初步深度圖，將步驟S12中的點代價值進行累加，并得到像素點的單向代價值L_r(p，d)，將像素點的8個鄰域方向的單向代價值相加并得到總代價值S(p，d)，從而根據(jù)總代價值S(p，d)形成初步深度圖；

S14、后處理，對步驟S13中的初步深度圖進行優(yōu)化并得到步驟S1所述的深度圖。

3.根據(jù)權(quán)利要求2所述的一種基于雙目相機和深度學(xué)習(xí)技術(shù)的公交客流計數(shù)方法，其特征在于，步驟S13中，單向代價值L_r(p，d)計算公式為：

其中，r為指向當(dāng)前像素p的方向，L_r(p，d)為當(dāng)前像素p的視差值為d時的單向代價值，C(p，D)為左圖和右圖的圖像對應(yīng)像素差值，P₁、P₂為懲罰項，L_r(p-r，d)為p-r方向的像素的視差值為d時的單向代價值，L_r(p-r，d-1)+P₁為p-r方向的像素的視差值為d-1時的單向代價值加P₁，L_r(p-r，d+1)+P₁為p-r方向的像素的視差值為d+1時的單向代價值+P₁，為p-r方向的像素的視差值為其他值時，取最小代價值加P₂；C(p，D)的計算公式如下：

C(p，D)＝min(d(p，p-D，I_L，I_R)，d(p，p-D，I_R，I_L))，

其中，

其中，p為當(dāng)前像素點，q為當(dāng)前像素點p移動距離D之后的像素，I_L(p)為左圖中p像素點的RGB值，I_L(q)為左圖中q像素點的RGB值，I_R(p)為右圖中p像素點的RGB值，I_R(q)為右圖中q像素點的RGB值。

4.根據(jù)權(quán)利要求2或3所述的一種基于雙目相機和深度學(xué)習(xí)技術(shù)的公交客流計數(shù)方法，其特征在于，總代價值S(p，d)的計算公式為：其中，S(p，d)為總代價值，L_r(p，d)為當(dāng)前像素p的視差值為d時的單向代價值，C(p，d)為左圖和右圖的圖像對應(yīng)像素差值，r為指向當(dāng)前像素p的方向。

5.根據(jù)權(quán)利要求4所述的一種基于雙目相機和深度學(xué)習(xí)技術(shù)的公交客流計數(shù)方法，其特征在于，步驟S14中后處理包括依次對步驟S13中的初步深度圖進行以下步驟：

S141、進行置信度檢測并剔除錯誤視差值；

S142、進行亞像素插值并使初步深度圖視差平滑；

S143、進行一致性檢測并消除遮擋帶來的視差錯誤，并得到步驟S1中所述的深度圖。

6.根據(jù)權(quán)利要求1或2或3或5所述的一種基于雙目相機和深度學(xué)習(xí)技術(shù)的公交客流計數(shù)方法，其特征在于，步驟S4中，根據(jù)深度學(xué)習(xí)模型獲取乘客上下車軌跡鏈，并根據(jù)乘客上下車軌跡鏈判斷乘客的上下車行為，從而進行客流計數(shù)。