[發明專利]一種視頻監控目標實時定位方法

有效

• 申請號: 201911291966.4
• 申請日: 2019-12-16
• 公開（公告）號: CN111126220B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 班瑞;石焜;李瑞芬;趙利霞
• 申請（專利權）人: 北京瞭望神州科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06T7/80;G06T7/70;G06V10/82;G06N3/084;H04N7/18
• 代理公司: 鄭州先風知識產權代理有限公司 41127
• 代理人: 馬柯柯

1.一種基于視頻的監控目標實時定位方法，其特征在于：包括如下步驟：

第一步：訓練樣本集的準備

(1)樣本數據的采集

樣本數據包括以下三個方面：一是目標地物的平面坐標，二是攝像頭的特定角度方位的具體方位值，三是該攝像頭在該具體方位值下對應的準確的圖像坐標，即真實值，將真實值設為期望輸出值，期望輸出值用于訓練神經網絡，以調整誤差；

其中攝像頭的方位值——PTZ值，即Pan/Tilt/Zoom，下面Z值寫為Z_O，是根據攝像頭內部設定的參數來獲取的，PTZ_O值代表方位：即攝像頭左右移動值/上下移動值/攝像頭鏡頭變倍、變焦控制值；攝像頭的PTZ_O值取值范圍如下：P值取值范圍是0～360度，T值取值范圍是-5～90度，Z_O值取值范圍是1～30倍；

選取已知平面坐標的目標地物為樣本，然后打開攝像頭的視頻，實時讀取該地物的平面坐標，讀取精度精確到小數點后9位，同時還可獲取攝像頭視頻中該地物樣本在該方位下對應的圖像坐標值：攝像頭視頻里面鼠標顯示為十字絲，通過十字絲定位目標地物，然后點擊攝像頭屏幕上的目標地物，獲取目標地物在屏幕圖像中的位置，從而獲取目標地物圖像坐標，同時保存此時相對應的PTZ_O值以及目標地物的平面坐標值；圖像以左上角為原點(0,0)，右上角坐標為(1,0)，左下角坐標為(0,1)，右下角坐標為(1,1)，目標地物在視頻中的圖像坐標參考系如上，橫、縱坐標取值范圍為0～1；

以上為輸入樣本采集；采集若干個樣本后，所有樣本隨機打亂，抽出100條做為驗證集，其余為訓練集；驗證集始終不參與訓練，只在誤差滿足訓練集要求后，做驗證使用；輸出數據通過將樣本輸入神經網絡計算后得到；

(2)對輸入數據以及對期望輸出值進行預處理

預處理分兩個步驟，一是數據清洗和歸一化，二是變換成極坐標格式數據；

首先清洗掉有明顯錯誤的干擾數據；

其次對數據進行歸一化，對輸入和輸出數據進行尺度變換；由于各個輸入數據的物理意義和尺度范圍不同，不能在一個衡量范圍內進行對比和計算；為了保證在神經網絡訓練之前，所有輸入數據對輸出結果的影響分量相同，進行尺度變換，使所有的數據都在0～1之間變換；

所述的樣本有5個數據特征，故設置神經網絡的輸入層為5個神經元；所述樣本的5個數據特征，其中前三個為攝像頭的PTZ_O值，第四個為樣本點與攝像頭的距離，第五個為樣本點與攝像頭連線方向與正北向夾角的角度值，采用極坐標格式；所述樣本有多個，按照順序排列的樣本的5個數據特征組成五列數據；

第一個數據特征為P值，P值取值區間為0-359.99999，P值歸一化后的值為P₁，歸一化公式為：P₁＝P/360

第二個數據特征為T值，T值在-5～90之間，T值歸一化后為T₁，歸一化公式為：T₁＝(T+5)/95

第三個數據特征為Z_O值，Z_O值在1～30之間，Z_O值歸一化后為Z_O1，歸一化公式為：Z_O1＝Z_O/30

第四個數據特征為S值，為樣本與攝像頭之間的距離值，樣本與攝像頭之間的距離值S以3km為基數進行歸一化，歸一化值為S₁，公式為：

其中x₁、y₁分別為樣本點所在位置的橫向平面坐標、縱向平面坐標，x₀、y₀分別為攝像頭所在位置的橫向平面坐標、縱向平面坐標；

第五個數據特征為A值，以攝像頭為原點，以正北向為Y軸正向，A值是攝像頭與樣本點連線的方向與Y軸正向的夾角，取值范圍為[-1,1],由于反正弦函數取值區間為故A值取值區間為-90～90度；

計算樣本點與攝像頭連線的方向與Y軸正向的角度A公式為：

根據上面的公式，由于A值并不能表示360度，因此以正北向為0度，以正東方向為X軸正向，即90度，順時針方向旋轉，根據樣本點所在的象限位置，判斷與Y軸正向的夾角，記為A₀，Y軸正向X軸正向為第一象限，A₀角度取值區間為0～90度，A₀＝A，A為正值；X軸正向Y軸負向為第二象限，A₀角度取值區間為90～180度，A₀＝180–A，A為正值；Y軸負向X軸負向為第三象限，A₀角度取值區間為180～270度，A₀＝180–A，A為負值；X軸負向Y軸正向為第四象限，A₀角度取值區間為270～360度，A₀＝360+A，A為負值；A₀歸一化值為A₁，歸一化公式為：A₁＝A₀/360；

期望輸出值為上述樣本在上述PTZ_O值下，樣本在攝像頭中的圖像坐標(u,v)，選取兩個樣本特征，第一個為樣本點圖像坐標距離圖像中心(0.5,0.5)的距離D，第二個為樣本點圖像坐標距離圖像中心(0.5,0.5)的角度F，采用極坐標格式；然后分別對樣本的圖像坐標距圖像中心的距離與角度進行歸一化處理，距離D計算公式為：

距離值的D歸一化值D₁，歸一化公式為：

計算樣本點圖像坐標與攝像頭的角度F公式為：

樣本點圖像坐標距離其中D≠0，根據前述公式，角度F區間為-90～90度，所以需要根據樣本點圖像坐標所在的象限位置，以圖像中心(0.5,0.5)為原點，當u＝0.5,且v＝0.5時，F₀＝0；u0.5,v≤0.5,即在圖像右上角為第一象限，F₀取值區間為0～90度，F₀＝F，F為正值；u≥0.5,v0.5,即在圖像右下角為第二象限，F₀取值區間為90～180度，F₀＝180–F，F為正值；u0.5,v≥0.5,即在圖像左下角為第三象限，F₀取值區間為180～270度，F₀＝180–F，F為負值；u≤0.5,v0.5,即在圖像左上角為第四象限，F₀取值區間為270～360度，F₀＝360+F，F為負值；當u＝0.5或v＝0.5時，樣本點在坐標軸上；F₀歸一化值為F₁，歸一化公式為：F₁＝F₀/360；

第二步：設置訓練神經網絡結構

隱藏層設計為11層，隱層及結點數設計為：

1-5層隱藏層，每層設計8個神經單元結點，表示為1-5:8；

6-8層隱藏層，每層設計為12個神經單元結點，表示為6-8:12；

9-11層隱藏層，每層設計為10個神經單元結點，表示為9-11:10；

即隱節點寫法“S-E:N”,表示第S層到第E層的每層神經單元個數為N個；

梯度下降時采用的策略是Adam優化器；Adam是一種可以替代傳統隨機梯度下降過程的一階優化算法，能基于訓練數據迭代地更新神經網絡權值；

第三步：正向傳播

以單隱藏層示范基本原理，多隱藏層是多個單隱藏層的層層遞進；單隱藏層原理具體如下：輸入向量為所述的樣本X＝(x₁,x₂,x₃,x₄,x₅)^T，T代表轉置；x₁,x₂,x₃,x₄,x₅是輸入層的五個神經單元，x₁,x₂,x₃,x₄,x₅一一對應輸入樣本數據的五個特征，即P值歸一化P₁，T值歸一化T₁，Z_O值歸一化Z_O1，目標地物距攝像頭位置的平面坐標距離S歸一化值S₁，目標地物距攝像頭位置的角度A歸一化值A₁；b₀是為隱藏層神經單元引入的閾值，取值為[-1,1]；

輸入層到隱藏層的權值矩陣用W表示，W＝(W₁,W₂,…,W_j,…,W_m)^T，其中3≤j＜m；

所述W₁＝(w₁₁,w₁₂,w₁₃,w₁₄,w₁₅)為隱藏層第1個神經單元對應的權向量，為1行5列的向量；W₂＝(w₂₁,w₂₂,w₂₃,w₂₄,w₂₅)為隱藏層第2個神經單元對應的權向量，為1行5列的向量；W_j＝(w_j1,w_j2,w_j3,w_j4,w_j5)為隱藏層第j個神經單元對應的權向量，為1行5列的向量；W_m＝(w_m1,w_m2,w_m3,w_m4,w_m5)為隱藏層第m個神經單元對應的權向量，為1行5列的向量；

w_ji為輸入層第i個神經單元到隱藏層第j個神經單元的權值，i＝1,2,3,4,5；j＝1,2,…,m；例如w₂₁為輸入層第1個神經單元到隱藏層第2個神經單元的權值，w₁₂為輸入層第2個神經單元到隱藏層第1個神經單元的權值；

m為隱藏層的神經元個數，故W為m行5列的權值矩陣；Z₁為隱藏層的第1個神經單元的加權信息，是匯集輸入層的5個神經單元x₁,x₂,x₃,x₄,x₅通過公式W₁X加權變換后加上設置的閾值b₀，得到的加權信息，即Z₁＝W₁X+b₀；Z_j為隱藏層的第j個神經單元的加權信息，是匯集輸入層的5個神經單元x₁,x₂,x₃,x₄,x₅通過公式W_jX加權變換后加上設置的閾值b₀，得到的加權信息，即Z_j＝W_jX+b₀；Z_m為隱藏層的第m個神經單元的加權信息，是匯集輸入層的5個神經單元x₁,x₂,x₃,x₄,x₅通過公式W_mX加權變換后加上設置的閾值b₀，得到的加權信息，即Z_m＝W_mX+b₀；

激活函數采用relu函數，relu激活函數為，當x≧0時，f(x)＝x，當x﹤0時，f(x)＝0；在輸入層到隱藏層的激活函數為f(Z)＝f(WX+b₀)；

y₁為在隱藏層中第1個神經單元的輸出值，是由Z₁經過relu激活函數f(x)處理變換后得到，即當Z₁＝W₁X+b₀≧0時，y₁＝f(Z₁)＝W₁X+b₀，當W₁X+b₀﹤0時，y₁＝f(Z₁)＝0；y_j為在隱藏層中第j個神經單元的輸出值，是由Z_j經過relu激活函數處理變換后得到的，即y_j＝f(Z_j)；y_m為在隱藏層中第m個神經單元的輸出值，是由Z_m經過relu激活函數處理變換后得到的，即y_m＝f(Z_m)；

輸出層有2個神經單元，隱藏層到輸出層之間的權值矩陣用V＝(V₁,V₂)^T，T代表轉置，其中V₁＝(v₁₁,v₁₂,…,v_1j,…,v_1m)為輸出層第1個神經單元對應的權向量，為1行m列的向量；V₂＝(v₂₁,v₂₂,…,v_2j,…,v_2m)為輸出層第2個神經單元對應的權向量，為1行m列的向量；權值矩陣V為2行m列的向量；

v_kj是隱藏層第j個神經單元到輸出層第k個神經單元的權值；j＝1,2,…,m；k＝1,2；例如v₂₁為隱藏層第1個神經單元到輸出層第2個神經單元的權值，v₁₂為隱藏層第2個神經單元到輸出層第一個神經單元的權值，v_1j為隱藏層第j個神經單元到輸出層第1個神經單元的權值；

輸出向量O＝(o₁,o₂)^T，T代表轉置，o₁為BP神經網絡計算方法預測的目標地物在攝像頭所攝取圖像中的圖像坐標距離該圖像中心坐標(0.5,0.5)的距離，o₂為BP神經網絡計算方法預測的目標地物在攝像頭所攝取圖像中的坐標距離該圖像中心坐標(0.5,0.5)的角度歸一化值；b₁為隱藏層設置的閾值，取值范圍為[-1,1]；relu函數為從隱藏層到輸出層的激活函數；o₁為在輸出層中第1個神經單元的輸出值，是由隱藏層的各個神經單元y₁,y₂,…,y_j,…,y_m經過公式V₁Y加權變換后，加上設置的閾值b₁后，得到加權信息V₁Y+b₁，經過relu激活函數處理變換后得到的，即o₁＝f(V₁Y+b₁)；o₂為在輸出層中第2個神經單元的輸出值，是由隱藏層的各個神經單元y₁,y₂,…,y_j,…,y_m經過公式V₂Y加權變換后，加上設置的閾值b₁后，得到加權信息V₂Y+b₁，經過relu激活函數處理變換后得到的，即o₂＝f(V₂Y+b₁)；

對于隱藏層，第j個神經單元的加權信息為：

W_j為隱藏層第j個神經單元對應的權向量，w_ji為輸入層第i個神經單元到隱藏層第j個神經單元的權值，i＝1,2,3,4,5；j＝1,2,…,m；

隱藏層第j個神經單元經過relu激活函數f(WX+b₀)后，變為：

對于輸出層，第k個神經單元的加權信息為：

V_k為輸出層第k個神經單元的對應的權向量，v_kj是隱藏層第j個神經單元到輸出層第k個神經單元的權值；k＝1或2；

輸出層的第k個神經單元經過激活函數后的輸出值為：

第四步驟：計算誤差與反向傳播調整權值

單隱藏層神經網絡在采樣的時候，即第一步驟中的第1步，得到期望值d_k，期望值d_k與輸出結果o_k一一對應；當輸出結果o_k與期望結果d_k不相等時，即存在輸出誤差E，定義公式如下：

把上面的誤差公式反推到隱藏層，有

Z_k為輸出層第k個神經單元的加權信息，繼續展開至輸入層，結果為

由上式可以看出，網絡輸出誤差是各層權值v_kj、w_ji的函數，因此調整權值可改變誤差E；調整權值使誤差E不斷的減小，需要使權值調整量與誤差的梯度下降成正比，公式如下：Δv_kj、Δw_ji為權值調整量，意為求導，即誤差梯度；

式中，負號表示梯度下降，常數η表示比例系數,η∈(0,1)，在神經訓練中反映了學習速率，即學習率，主要用來調節Δv_kj,Δw_ji的變化幅度；

第五步驟：BP計算方法

各層神經單元個數為：輸入層i＝1,2,3,4,5；隱藏層j＝1,2,…，m；輸出層k＝1,2；

對于輸出層，由于以及輸出層第k個神經單元的加權信息為Z_k，Z_k＝V_kY+b₁；所以引入Z_k，對Z_k求導，Δv_kj可寫為：

對于隱藏層，由于以及隱藏層第j個神經單元的加權信息為Z_j，Z_j＝W_jX+b₀，對Z_j求導，Δw_ji可寫為：

對于輸出層和隱藏層各定義一個誤差信號；是輸出層的誤差信號，上標o表示輸出層，是隱藏層的誤差信號，上標y表示隱藏層；令

由于公式7中

V_k＝(v_k1,v_k2,…,v_kj,…,v_km)，是指輸出層第k個神經單元對應的權向量，故公式(13-1)中的代入公式(14-1)，所以公式(13-1)可以改為

同上，由于

故公式(13-2)中的代入公式(14-2)，所以公式(13-2)可以改為

對于輸入層，o_k為輸出層第k個神經單元的加權信息Z_k經過激活函數變換后的輸出值，即o_k＝f(Z_k)，對誤差信號增加參量可展開為

對于隱藏層，y_j為隱藏層第j個神經單元的加權信息Z_j經過激活函數變換后的輸出值，即y_j＝f(Z_j)，對誤差信號增加參量可展開為

對于輸出層，利用公式9，可得

對于隱藏層，利用公式10，可得

上述公式17-1及公式17-2中的“*”代表“乘以”；

然后將以上結果代入到公式16，得到

以上誤差信號推導完成，把公式18代入到公式15中，

對于多隱藏層，有h層隱藏層，按正向傳播順序各隱藏節點數，記為m₁,m₂,m₃,…,m_h即第1層隱藏層有m₁個神經單元，第2層隱藏層有m₂個神經單元，以此類推，第h層隱藏層有m_h個神經單元；隱藏層輸出用y表示，第1層隱藏層輸出數據記為y⁽¹⁾，第2層隱藏層輸出數據記為y⁽²⁾，以此類推，第h層隱藏層輸出數據記為y^(h)，各隱藏層輸出數據分別記為y⁽¹⁾,y⁽²⁾,y⁽³⁾,…,y^(h)第1層隱藏層權值矩陣記為W⁽¹⁾，第2層隱藏層權值矩陣記為W⁽²⁾，以此類推，第h層隱藏層的權值矩陣記為W^(h)，即各層權值矩陣分別記為W⁽¹⁾,W⁽²⁾,W⁽³⁾,…,W^(h+1)，則各層權值調整計算公式見下面：

對于輸出層，意為第h層隱藏層的第j₁個神經單元到第h+1層即輸出層的第k₁個神經單元的權值，即的權值調整量，由單隱藏層網絡推導，類比得到的公式如下：

為輸出層的誤差信號，為第h層隱藏層的第j₁個神經單元的輸出值，為輸出層第k₁個神經單元的加權信息；

第h隱藏層，意為第h-1層隱藏層的第i₁個神經單元到第h層隱藏層的第j₁個神經單元的權值，即的權值調整量，公式如下：

為第h層隱藏層的誤差信號，為第h-1層隱藏層的第i₁個神經單元的輸出值，為第h層隱藏層的第j₁個神經單元的加權信息，為輸出層的誤差信號；

按照以上規律逐層類推，則輸入層第p₁個神經單元到第1層隱藏層第q₁個神經單元的權值為為的調整量，計算公式為

p₁＝1,2,…,l；q₁＝1,2,3,…,m₁；r＝1,2,…,m₂；l為輸入層的神經單元個數，m₁為第1層隱藏層的神經單元個數；m₂為第2層隱藏層的神經單元個數；p₁為輸入層第p₁個神經單元，q₁為第1層隱藏層第q₁個神經單元；r為第2層隱藏層第r個神經單元；為第1層隱藏層的誤差信號，為輸入層的第p₁個神經單元的值，為第1層隱藏層的第q₁個神經單元的加權信息；為第2層隱藏層的誤差信號，為第1層隱藏層第q₁個神經單元到第2層隱藏層第r個神經單元的權值；

當所有的誤差信號計算完成，并由此調整好各層的各個神經元的權值之后，再重新輸入數據，用修改后的權值矩陣進行計算，得到輸出結果，即正向傳播得到的輸出結果與期望輸出值再進行比較，計算誤差；如果誤差滿足要求，再在驗證集上進行驗證，誤差同時滿足要求，即可停止神經網絡的訓練；如果在驗證集上誤差不滿足要求，則重新按照上面的方法反向傳播調整誤差信號，從而調整權值；如此反復，直至訓練結果滿足要求或者訓練次數達到設置的閾值，訓練結束；所述訓練結果滿足要求，為誤差滿足要求，則訓練結束；若訓練結束，誤差仍然不能滿足要求，則返回步驟二，使用設定值調參，重新調整學習率以及神經網絡的層數和神經單元個數，然后再按照正向傳播計算誤差、反向傳播調整權值，重新訓練神經網絡。