[發明專利]一種快遞存放現場監控方法

有效

• 申請號: 202210282392.X
• 申請日: 2022-03-22
• 公開（公告）號: CN114663834B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 靳涵宇
• 申請（專利權）人: 天目愛視（北京）科技有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V40/10;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06Q10/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種快遞存放現場監控方法，其特征在于，包括以下步驟：

S1：攝像機獲取采集區域第一視頻數據；

S2：從第一視頻數據中截取第一組圖像F1，分析每張圖像，獲取每張圖像的多幅子圖，檢測快遞派送員是否存在，若是則進入S3，否則返回S1；

S3：向終端發送快遞派件通知信息；

采用神經網絡模型N₁在子圖中檢測快遞派送員是否存在，

所述神經網絡模型N₁，其輸入層為一幅子圖S_I(u′，v′)，其輸出層為一組二維向量，向量的兩個維度分別表示輸入圖中是否存在快遞派送員、是否存在一般行人；

神經網絡模型N₁的隱藏層定義如下：

定義神經網絡模型N₁的第一層隱藏層：

式中，表示輸入層中以(u′，v′)為中心的卷積窗口的權重，p，q表示卷積窗口中相對位置的整數坐標，卷積的窗口大小為9*9，對應p、q的取值范圍為-4到4，S_I^{(u′+p，v′+q)}表示輸入層子圖在坐標(u′+p，v′+q)處的像素取值；表示第一層隱藏層中坐標為(x，y)的節點，這個節點根據窗口參數定義，與輸入層的9*9個節點相連接，b₀為線性偏置量，σ(x)為一非線性函數：

e^x表示指數函數，使神經網絡能夠對非線性數據樣本實現分類，α是經驗參數；

定義神經網絡N₁的第二層隱藏層：

式中，表示第二層隱藏層坐標為(x，y)的節點，與第一層隱藏層的4*4＝16個節點相連，max表示第一層隱藏層中與節點對應位置的16個節點的最大值，這16個節點由x、y方向上的p、q定義，即p、q取值范圍為0、1、2、3，表示第一層隱藏層中坐標為(4x+p，4y+q)的節點，b₁為線性偏置量，σ(x)由式子(2)定義；

定義神經網絡N₁的第三層隱藏層：

式中，表示第三層隱藏層中坐標為(x，y)的節點，表示第二層隱藏層中在坐標(x+p，y+q)處的節點，表示卷積窗口權重，卷積窗口大小為7*7，對應p、q的取值范圍為-3到3，p，q表示卷積窗口中相對位置的整數坐標，根據所表示的權重與第二層隱藏層中的7*7個節點相連，b₂為線性偏置量，σ(x)為如式(2)定義的非線性函數；

定義神經網絡N₁的第四層隱藏層為：

式中，表示第四層隱藏層坐標為(x，y)的節點，與第三層隱藏層的2*2＝4個節點相連，max表示第三層隱藏層中與節點對應位置的4個節點的最大值，這4個節點由x、y方向上的p、q定義，即p、q取值范圍為0、1、2、3，表示第三層隱藏層中坐標為(2x+p，2y+q)的節點，b₃為線性偏置量，σ(x)由式子(2)定義；

定義神經網絡N₁的第五層隱藏層：

式中，聯合表示第五層隱藏層中的節點，因此第五層是由兩個二維矩陣節點聯合組成，(x，y)表示x、y方向上的坐標，X的下標表示兩個矩陣之一的編號，表示第四層隱藏層中在坐標(x+p，y+q)處的節點，分別表示與對應的卷積窗口權重，卷積窗口大小均為7*7，對應p、q的取值范圍為-3到3，p，q表示卷積窗口中相對位置的整數坐標，可知，按所表示的權重與第四層隱藏層中的7*7個節點相連，按所表示的權重與第四層隱藏層中的7*7個節點相連，b₄為線性偏置量，σ(x)為如式(2)定義的非線性函數；

通過設定神經網絡N₁的五個隱藏層，將待檢測的快遞派送員目標和一般行人目標結合起來，提取其共同特性；利用第五層隱藏層提取快遞派送員目標和一般行人目標的差異特性，進一步區分目標特征；

定義N₁的輸出層：

式中，表示第五層隱藏層的節點，Ω＝[ω₁，ω₂]^T表示輸出層的兩個節點，表示與對應的連接權重，c，d的取值范圍與x，y相同，即每個與一個對應，每個與一個對應，b₅為線性偏置量，σ(x)由式子(2)定義；

神經網絡的輸出層節點Ω＝[ω₁，ω₂]^T，取值范圍為[0，1]，分別表示輸入圖中是否存在快遞派送員、是否存在一般行人的概率，當ω_i，i＝{1，2}趨向于0時，表示目標不存在，當ω_i，i＝{1，2}趨向于1時，表示存在目標，為進一步明確判定結果，設定閾值如下：

式(1)-(7)中神經網絡每一層的權重參數和偏置參數需要通過訓練樣本學習獲得，預先準備若干組訓練樣本，訓練樣本分為三類，第一類為派送包裹的快遞派送員的圖像，對應輸出為[1，0]，第二類為一般行人的圖像，對應輸出值為[0，1]，第三類為既不包含快遞派送員，也不包含一般行人的圖像，對應輸出值為[0，0]，每組訓練樣本包括圖像及其輸出值，用于訓練神經網絡模型N₁，根據(1)-(7)的定義計算給定訓練樣本輸入值時的輸出結果，并與訓練樣本的標記值相對比，可以獲得一個對比值，該對比值定義為一個代價函數：

其中，表示樣本的標記輸出值，Ω＝[ω₁，ω₂]^T表示根據神經網絡模型N₁對輸入圖像進行計算后對輸出的估計值，表示向量的一范數，參數θ為控制參數，有助于提高模型的噪聲的魯棒性；

采用后向傳播方法求取代價函數(8)的極值，實現對神經網絡模型N₁的訓練，確定神經網絡模型N₁中式子(1)-(7)的各項參數；

所述方法還包括：S4、攝像機獲取采集區域第二視頻數據；

S5、從第二視頻數據中截取第二組圖像F₂，分析每張圖像，檢測圖像中指定子區域內的是否存在快遞包裹，若是進入S6，否則返回S4；

S6、向終端發送快遞派送完成通知信息；

具體包括：輸入一張圖像，圖像中包括一個預先設定的矩形區域[(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，(u₄，v₄)]，用于標記快遞存放的位置，(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，(u₄，v₄)為矩形區域四個頂點在圖像中的坐標；輸出一個標量值ψ，當ψ＝1，表示檢測出快遞包裹，或ψ＝0，表示區域中未檢測出快遞包裹；

當指定位置未送達快遞包裹時，從攝像機拍攝的視頻中截取一幀圖像，并將其在預先設定區域的子圖記錄為不包含快遞包裹的參考圖像R(u′，v′)；

給定另一張需要判定的圖像I(u，v)在設定區域內的子圖S_I(u′，v′)，取其差值：

D(u′，v′)＝|S_I(u′，v′)-R(u′，v′)|…(9)

表示兩幅子圖像對應位置像素之差的絕對值；

引入神經網絡模型N₂，其輸入層為一幅差值圖D(u′，v′)，其輸出層為一標量ψ，當ψ＝1，表示輸入圖像中存在快遞包裹，當ψ＝0，表示輸入圖像中不存在快遞包裹，

神經網絡模型N₂的隱藏層定義如下：

定義神經網絡模型N₂的第一層隱藏層：

式中，f₁^(p，q)表示輸入層中以(u′，v′)為中心的卷積窗口的權重，p，q表示卷積窗口中相對位置的整數坐標，卷積的窗口大小為9*9，對應p、q的取值范圍為-4到4，D^{(u′+p，v′+q)}表示輸入層的差值子圖在坐標(u′+p，v′+q)處的像素取值；表示第一層隱藏層中坐標為(x，y)的節點，這個節點根據窗口參數f₁^(p，q)定義，與輸入層的9*9個節點相連接；e₀為線性偏置量；σ(x)與模型N₁中所述定義(2)相同；

定義神經網絡N₂的第二層隱藏層：

式中，表示第二層隱藏層坐標為(x，y)的節點，與第一層隱藏層的4*4＝16個節點相連，max表示第一層隱藏層中與節點對應位置的16個節點的最大值，這16個節點由x、y方向上的p、q定義，即p、q取值范圍為0、1、2、3，表示第一層隱藏層中坐標為(4x+p，4y+q)的節點，e₁為線性偏置量，σ(x)由式子(2)定義；

定義N₂的輸出層：

式中，表示第二層隱藏層的節點，ψ表示輸出層的節點；表示與對應的連接權重，c，d的取值范圍與x，y相同，即每個與一個對應，e₂為線性偏置量；σ(x)由式子(2)定義；

神經網絡的輸出層節點ψ取值范圍為[0，1]，表示與輸入的差值圖像對應的原圖像中是否存在包裹；當ψ趨向于0時，表示包裹不存在，當ψ趨向于1時，表示包裹存在；為進一步明確判定結果，設定閾值如下：

預先準備含有包裹和不含有包裹的訓練樣本圖像，并標記其輸出值分別為1或0，對模型N₂進行訓練，獲取式(10)-(12)中參數的值，代價函數定義如下：

其中，表示訓練樣本的標記輸出值，ψ表示根據神經網絡模型N₂對輸入差值圖像進行計算后對輸出的估計值，參數θ為控制參數；

通過上述步驟判斷以下事件是否發生實現：事件(1)快遞派送員上門，事件(2)快遞放在指定位置；

當事件(1)、(2)發生后，服務軟件停止記錄現場視頻給客戶；并進入事件(3)的監測步驟；

事件(3)的發生條件判斷步驟如下：

A.事件(1)、(2)已發生；

B.在一定的時間周期T3內，等間隔從視頻中截取F3張圖像，對每張圖像利用前述方法檢測快遞包裹，并記錄檢測結果；

C.如果步驟B中有超過M3張圖像檢測不到包裹，即ψ≤0.5，并且這M3張圖像拍攝順序是連續的，則判定事件(3)發生；

D.否則重復B、C步驟；

當事件(3)發生后，向客戶發送快遞包裹監測異常的通知，并將事件(3)發生前60秒的現場視頻發送給客戶。