[發(fā)明專(zhuān)利]一種支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210884211.0
• 申請(qǐng)日: 2022-07-26
• 公開(kāi)（公告）號(hào): CN115209111A
• 公開(kāi)（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 喬秀全;孫譞;李鵬;黃亞坤;商彥磊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京新方通信技術(shù)有限公司;北京郵電大學(xué)
• 主分類(lèi)號(hào): H04N7/18
• 分類(lèi)號(hào): H04N7/18;H04L65/65;H04L67/02;H04L69/08;H04N5/272;G06T7/194
• 代理公司: 北京紐樂(lè)康知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11210
• 代理人: 秦月貞

本發(fā)明公開(kāi)了一種支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法及系統(tǒng)，其方法步驟如下：客戶端用戶通過(guò)電腦登錄推流客戶端程序，登錄成功后客戶端用戶工作狀態(tài)由離線更新為在線；客戶端用戶點(diǎn)擊工作按鈕，監(jiān)控模塊會(huì)向客戶端用戶申請(qǐng)攝像頭權(quán)限，客戶端用戶授權(quán)攝像頭權(quán)限后，監(jiān)控模塊會(huì)實(shí)時(shí)采集客戶端用戶的攝像頭視頻流。本發(fā)明能夠采集、處理和分析多個(gè)監(jiān)控視頻流，對(duì)視頻中的人員進(jìn)行實(shí)時(shí)前景分割以及背景替換，并且對(duì)當(dāng)前所有監(jiān)控進(jìn)行信息匯總與可視化，能夠?qū)崟r(shí)提供員工的監(jiān)控信息和考勤數(shù)據(jù)，解決了員工居家辦公時(shí)監(jiān)管困難的問(wèn)題，同時(shí)確保了監(jiān)控內(nèi)容的實(shí)時(shí)性、隱私性和安全性，對(duì)公司居家辦公考勤管理有很大的幫助。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像與視頻處理技術(shù)領(lǐng)域，具體來(lái)說(shuō)，涉及一種支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法及系統(tǒng)。

背景技術(shù)

現(xiàn)階段疫情在全世界范圍內(nèi)大流行，少接觸、少聚集成為人們?cè)谏a(chǎn)生活上新的要求。為了響應(yīng)國(guó)家號(hào)召，維護(hù)社會(huì)安全穩(wěn)定，不少企事業(yè)單位開(kāi)始實(shí)行員工居家辦公的政策，這點(diǎn)以從屬于第三產(chǎn)業(yè)的客服人員尤為明顯,然而工作效率低、監(jiān)管困難一直都是居家辦公模式下最大的痛點(diǎn)。目前對(duì)居家辦公的客服人員的監(jiān)管手段以上下班打卡、寫(xiě)日?qǐng)?bào)周報(bào)、不定期的抽查回復(fù)等 “弱監(jiān)控”為主，這種方法十分依賴(lài)管理人員的經(jīng)驗(yàn)，耗費(fèi)人力并且收效甚微。為了方便對(duì)居家客服人員的監(jiān)管以及提升居家辦公效率，我們采取了能夠滿足實(shí)時(shí)視頻監(jiān)控的“強(qiáng)監(jiān)控”系統(tǒng)。這種監(jiān)控系統(tǒng)支持將攝像頭采集的畫(huà)面送至監(jiān)管端實(shí)時(shí)播放，在明廚系統(tǒng)、安防監(jiān)控領(lǐng)域廣泛應(yīng)用。但考慮到客服居家辦公場(chǎng)景的特殊性，對(duì)其直接監(jiān)控勢(shì)必會(huì)帶來(lái)隱私安全的問(wèn)題，因此我們依托人工智能相關(guān)技術(shù)的發(fā)展，在監(jiān)控系統(tǒng)中增加背景替換功能，避免客服居家環(huán)境直接暴露在網(wǎng)絡(luò)之中，以解決該“強(qiáng)監(jiān)控”系統(tǒng)中存在的隱私性、安全性問(wèn)題。

目前，實(shí)現(xiàn)背景替換常用的方法有綠幕摳圖、交互式摳圖以及基于深度學(xué)習(xí)的摳圖。綠幕摳圖使用固定的綠幕背景，通過(guò)RGB色彩閾值進(jìn)行分割。該方法費(fèi)時(shí)費(fèi)力，制作周期長(zhǎng)，并且對(duì)場(chǎng)地以及設(shè)備有所要求。因此綠幕摳圖在使用時(shí)限制較多，適用性較差。交互式摳圖是使用交互式計(jì)算來(lái)獲取更多的先驗(yàn)信息來(lái)計(jì)算不透明度通道az，常見(jiàn)的包括GrabCut算法和LazySnapping算法。交互式摳圖算法需要較多的先驗(yàn)信息，而且對(duì)前景以及背景的手工標(biāo)注消耗大量精力，同時(shí)還存在不同人標(biāo)記的個(gè)體差異，導(dǎo)致交互式摳圖準(zhǔn)確率不高，無(wú)法滿足復(fù)雜背景的摳圖以及實(shí)時(shí)摳圖任務(wù)，使得該方式在處理視頻流形式的摳圖任務(wù)時(shí)變得極為困難。

針對(duì)上述問(wèn)題，目前還沒(méi)有有效的解決辦法。

發(fā)明內(nèi)容

針對(duì)相關(guān)技術(shù)中的上述技術(shù)問(wèn)題，本發(fā)明提出一種支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法及系統(tǒng)，能夠克服現(xiàn)有技術(shù)的上述不足。

為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

一種支持實(shí)時(shí)背景替換的居家辦公視頻監(jiān)控方法，包括如下步驟：

S1客戶端用戶通過(guò)電腦登錄推流客戶端程序，登錄成功后客戶端用戶工作狀態(tài)由離線更新為在線；

S2客戶端用戶點(diǎn)擊工作按鈕，監(jiān)控模塊會(huì)向客戶端用戶申請(qǐng)攝像頭權(quán)限，客戶端用戶授權(quán)攝像頭權(quán)限后，監(jiān)控模塊會(huì)實(shí)時(shí)采集客戶端用戶的攝像頭視頻流，與此同時(shí)客戶端用戶工作狀態(tài)由在線修改為工作中；

S3監(jiān)控模塊對(duì)采集的實(shí)時(shí)視頻流進(jìn)行編碼、封裝打包處理，將視頻幀數(shù)據(jù)送至算法模塊；

S4 算法模塊對(duì)視頻幀實(shí)時(shí)處理并返回給監(jiān)控模塊；

S5 監(jiān)控模塊將處理結(jié)果使用RTMP協(xié)議推送到流媒體服務(wù)器；

S6 流媒體服務(wù)器進(jìn)行協(xié)議轉(zhuǎn)換，將RTMP協(xié)議轉(zhuǎn)為WebRTC協(xié)議，并向監(jiān)控平臺(tái)提供Web頁(yè)面拉流能力，同時(shí)將處理后的實(shí)時(shí)視頻流錄制持久化到數(shù)據(jù)庫(kù)；

S7 系統(tǒng)可視化模塊獲得數(shù)據(jù)，將結(jié)果渲染到UI界面，向監(jiān)管人員實(shí)時(shí)展示當(dāng)前監(jiān)控情況。

進(jìn)一步地，S4中的算法模塊包括預(yù)處理、前景分割、圖像融合，其具體步驟如下：

S41 將采集設(shè)備捕獲的實(shí)時(shí)視頻流進(jìn)行編解碼預(yù)處理；