[發明專利]一種基于5G和VR視頻的遠程實景倉儲監管系統

有效

• 申請號: 202110055913.3
• 申請日: 2021-01-15
• 公開（公告）號: CN112911221B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 馮若寅;仲躋煒;朱彭生
• 申請（專利權）人: 歐冶云商股份有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N5/232;G06V40/20;G06V20/52
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

1.一種基于5G和VR視頻的遠程實景倉儲監管系統，其特征在于，包括：

倉庫屬地VR監控側：包括安裝在倉庫內用以實現倉庫VR視頻采集的VR攝像機以及接收VR攝像機采集的VR圖像信號實現圖像拼接和視頻監管的VR視頻服務器，所述的VR視頻服務器包括視頻拼接功能和邊緣多目視頻監控功能，所述的邊緣多目視頻監控功能具體為：

VR視頻服務器通過對未拼接的原始多路六目4K視頻信號，或對拼接后的8K視頻進行抽幀處理，獲取圖像中對于設定倉庫貨品監管區域內行車對貨品的裝卸操作事件和非鋼卷對象的變動記錄并線上推送；

5G數據傳輸網絡：包括通過倉庫5G CPE設備與各倉庫屬地VR監控側的VR視頻服務器實現5G通信的倉庫5G基站、與各倉庫5G基站通信的核心網以及通過核心網與遠程監控側通信的公有云平臺；

所述的邊緣多目視頻監控功能通過邊緣視頻模型實現，具體包括以下步驟：

1)圖像幀貨品的輪廓提取：

11)階段性對包含倉庫貨品區域的視頻幀進行周期性連續采樣，圖像幀存儲文件按照VR攝像機號CameraNO_時間YYMMDD_hh:mm_時刻SerialNo命名時序排列方式存儲；

12)對圖像幀通過灰度圖-二值化-平滑處理-邊緣提取進行圖片轉換和輪廓提取，對于前后遮擋以及光線區分度低的成像效果區分度不明顯的輸出圖片，通過Hough變換圓形檢測將提取的白邊輪廓點陣輸出到黑色背景圖片中，并對圖片序列的輪廓值計入ndarray類型像素值矩陣中；

2)采樣周期內的行為判定：

對于單個貨品的輪廓，若圖片序列的像素值矩陣沒有差異，則判定為靜態無作業狀態；若像素值矩陣出現差異，則以本采樣周期內上一采樣時刻圖像為基準與下一采樣時刻圖像的像素矩陣值進行比較判定，具體為：

將像素矩陣中所有標識白色的縱坐標值Y相加得到Sum(Y)，橫坐標值X相加得到Sum(X)，當下一采樣時刻圖像的Sum(Y)大于上一采樣時刻圖像的Sum(Y)時，則判斷現場貨品在圖像中設定的倉庫貨品監管區域范圍內發生縱向位移，同時將上一采樣時刻圖像的幀縱向最大值Y3與下一采樣時刻圖像的幀縱向最大值Y2進行比較，若Y2大于Y3則進一步判定現場貨品發生縱向位移的結論為真，記錄操作日志及圖像幀鏡頭號和時間點，并推送截取圖像信息到業務系統供監管人員查閱；

3)采樣周期間的行為判定

31)設定圖片中的倉庫貨品監管區域的像素坐標范圍為(A1，B1)到(A2，B2)；

32)獲取相鄰采樣周期的圖像幀對應的結構相似性指數SSIM，并以此結合采樣周期內的行為判定結果進行交疊判斷共同判斷貨品位置是否發生變化，若是，則記錄監管事件的日志與現場圖像，具體為：

若步驟2)中已經判斷單個貨品發生了位移，且相鄰采樣周期的圖像幀對應的結構相似性指數SSIM不同，則判斷該貨品發生位移；

遠程監控側：包括依次通過遠程5G基站和遠程5G CPE設備與核心網連接的VR一體機和遠程監控側PC機。

2.根據權利要求1所述的一種基于5G和VR視頻的遠程實景倉儲監管系統，其特征在于，所述的VR攝像機采用8K VR全景相機，并且通過LAN與VR視頻服務器直連。

3.根據權利要求1所述的一種基于5G和VR視頻的遠程實景倉儲監管系統，其特征在于，所述的VR視頻服務器與核心網通過有線方式或通過5G實現的WIFI覆蓋信號進行通信。

4.根據權利要求1所述的一種基于5G和VR視頻的遠程實景倉儲監管系統，其特征在于，所述的視頻拼接功能具體為：

VR視頻服務器將VR攝像機采集到的多路六目4K視頻信號通過RANSAC隨機采樣一致性算法進行圖像拼接得到8K視頻，即全景圖，并發送到核心網，具體為：

將六目4K視頻在視頻疊角邊界的圖像區域進行拼接，全景相機的每個鏡頭負責60度左右角區域視頻數據，對于超出60度的圖像，先找到相鄰兩幀圖像之間邊界區域的點陣圖像以及點陣特征值的匹配信息，通過匹配后的圖像點陣，剔除不一致的匹配點，提取縱向方向兩個區域點后獲取周邊點陣特征值差異點，通過匹配度的閾值設定，選擇最優的縱向兩個點陣位置，作為圖像拼接的縱線分界線，形成圖像拼接邊界值，在完成六目4K圖像拼接后與原始視頻幀共同進行VR視頻服務器的本地數據存儲。