[發(fā)明專利]一種支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210884211.0
• 申請日: 2022-07-26
• 公開（公告）號: CN115209111A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 喬秀全;孫譞;李鵬;黃亞坤;商彥磊
• 申請（專利權(quán)）人: 北京新方通信技術(shù)有限公司;北京郵電大學(xué)
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04L65/65;H04L67/02;H04L69/08;H04N5/272;G06T7/194
• 代理公司: 北京紐樂康知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11210
• 代理人: 秦月貞

1.一種支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法，其特征在于，包括如下步驟：

S1客戶端用戶通過電腦登錄推流客戶端程序，登錄成功后客戶端用戶工作狀態(tài)由離線更新為在線；

S2客戶端用戶點(diǎn)擊工作按鈕，監(jiān)控模塊會向客戶端用戶申請攝像頭權(quán)限，客戶端用戶授權(quán)攝像頭權(quán)限后，監(jiān)控模塊會實(shí)時(shí)采集客戶端用戶的攝像頭視頻流，與此同時(shí)客戶端用戶工作狀態(tài)由在線修改為工作中；

S3監(jiān)控模塊對采集的實(shí)時(shí)視頻流進(jìn)行編碼、封裝打包處理，將視頻幀數(shù)據(jù)送至算法模塊；

S4 算法模塊對視頻幀實(shí)時(shí)處理并返回給監(jiān)控模塊；

S5 監(jiān)控模塊將處理結(jié)果使用RTMP協(xié)議推送到流媒體服務(wù)器；

S6 流媒體服務(wù)器進(jìn)行協(xié)議轉(zhuǎn)換，將RTMP協(xié)議轉(zhuǎn)為WebRTC協(xié)議，并向監(jiān)控平臺提供Web頁面拉流能力，同時(shí)將處理后的實(shí)時(shí)視頻流錄制持久化到數(shù)據(jù)庫；

S7 系統(tǒng)可視化模塊獲得數(shù)據(jù)，將結(jié)果渲染到UI界面，向監(jiān)管人員實(shí)時(shí)展示當(dāng)前監(jiān)控情況。

2.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法，其特征在于，S4中的算法模塊包括預(yù)處理、前景分割、圖像融合，其具體步驟如下：

S41 將采集設(shè)備捕獲的實(shí)時(shí)視頻流進(jìn)行編解碼預(yù)處理；

S42 對緩存的視頻幀進(jìn)行前景分割，得到人物掩膜及前景圖像；

S43 將人物前景與預(yù)設(shè)的背景圖像進(jìn)行圖像融合，得到進(jìn)行背景替換后的視頻幀；

S44 將背景替換后的視頻幀進(jìn)行封裝、打包、傳輸。

3.根據(jù)權(quán)利要求2所述的支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法，其特征在于，所述算法模塊采用輕量化網(wǎng)絡(luò)以及模型壓縮技巧降低計(jì)算復(fù)雜度確保在計(jì)算資源不足下正常工作。

4.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法，其特征在于，S7中的所述數(shù)據(jù)包括客戶端用戶的視頻流信息、基本信息、考勤信息和統(tǒng)計(jì)信息。

5.一種支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控系統(tǒng)，其特征在于，包括：推流客戶端、流媒體服務(wù)器、數(shù)據(jù)庫和監(jiān)控平臺端，所述推流客戶端包括登錄模塊、監(jiān)控模塊和算法模塊，所述數(shù)據(jù)庫包括數(shù)據(jù)持久化模塊，所述監(jiān)控平臺包括業(yè)務(wù)處理模塊和系統(tǒng)可視化模塊；

所述登錄模塊，用于負(fù)責(zé)客戶端用戶登錄客戶端程序；

所述監(jiān)控模塊，用于采集客戶端用戶電腦攝像頭視頻，實(shí)時(shí)獲取視頻流的最新幀圖像，發(fā)送至算法模塊進(jìn)以對視頻幀進(jìn)行背景替換處理，同時(shí)將相關(guān)參數(shù)存儲至數(shù)據(jù)持久化模塊；

所述算法模塊：用于從監(jiān)控模塊中獲取實(shí)時(shí)視頻幀，對實(shí)時(shí)視頻幀進(jìn)行圖像預(yù)處理后送入語義分割網(wǎng)絡(luò)算法中進(jìn)行實(shí)時(shí)分割，并將分割結(jié)果與預(yù)提供的背景圖融合繪制到最新幀圖像上；

所述流媒體服務(wù)器，用于負(fù)責(zé)接收算法模塊處理后的視頻流，并將流媒體協(xié)議由RTMP轉(zhuǎn)碼為WebRTC，向監(jiān)控平臺提供Web頁面拉流能力，同時(shí)將處理后的實(shí)時(shí)視頻流錄制持久化至數(shù)據(jù)庫；

所述數(shù)據(jù)持久化模塊，用于存儲客戶端用戶電腦攝像頭采集并經(jīng)算法處理后的視頻流數(shù)據(jù)，為監(jiān)控平臺提供數(shù)據(jù)支持，同時(shí)為后續(xù)的監(jiān)控視頻回放提供支撐；

所述業(yè)務(wù)處理模塊，用于實(shí)現(xiàn)監(jiān)控平臺用戶功能需求，將底層業(yè)務(wù)邏輯封裝為API接口函數(shù)供可視化模塊調(diào)用；

所述系統(tǒng)可視化模塊，用于向業(yè)務(wù)處理模塊請求客戶端用戶的相關(guān)信息，拉取算法模塊處理后的結(jié)果視頻流展示到前端，向監(jiān)管人員實(shí)時(shí)展示被客戶端用戶的當(dāng)前行為狀態(tài)，同時(shí)向業(yè)務(wù)處理模塊請求客戶端用戶工作狀態(tài)統(tǒng)計(jì)信息并進(jìn)行排行展示。

6.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控系統(tǒng)，其特征在于，所述算法模塊包括實(shí)時(shí)背景替換算法模型。

7.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控系統(tǒng)，其特征在于，所述數(shù)據(jù)持久化模塊采用文件系統(tǒng)存儲視頻流數(shù)據(jù)，采用MySQL數(shù)據(jù)庫存儲結(jié)構(gòu)化數(shù)據(jù)。

8.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控系統(tǒng)，其特征在于，所述業(yè)務(wù)處理模塊的功能包括賬號管理功能、數(shù)據(jù)整合統(tǒng)計(jì)、工作狀態(tài)切換功能及條件檢索功能。

9.根據(jù)權(quán)利要求1所述的支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控系統(tǒng)，其特征在于，所述底層業(yè)務(wù)邏輯包括圖像算法處理的視頻流和已有數(shù)據(jù)的獲取方式。