[發(fā)明專利]一種可視化融合通信調(diào)度系統(tǒng)及其實現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 202011317024.1
• 申請日: 2020-11-23
• 公開（公告）號: CN112347975B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 張建軍
• 申請（專利權(quán)）人: 浙江華絡(luò)通信設(shè)備有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/82;G06V10/774;G06V10/26;G06N3/045;G06N3/08;H04N7/14;H04N7/18
• 代理公司: 紹興上虞誠知創(chuàng)專利代理事務(wù)所(普通合伙) 33354
• 代理人: 劉鴻西

本發(fā)明提供了一種可視化融合通信調(diào)度系統(tǒng)及其實現(xiàn)方法，所述系統(tǒng)包括視頻采集客戶端和服務(wù)器；所述視頻采集客戶端包括視頻采集器、可視化組件、視頻流處理器和控制器，所述視頻采集器、可視化組件和視頻流處理器均與所述控制器連接；所述服務(wù)器包括目標檢測模塊、手勢識別模塊、調(diào)度指令確定模塊和調(diào)度模塊；所述目標檢測模塊用于基于所述視頻采集客戶端傳輸?shù)臄?shù)據(jù)進行目標檢測；所述手勢識別模塊用于基于目標檢測的結(jié)果進行手勢識別；所述調(diào)度指令確定模塊用于根據(jù)手勢識別的結(jié)果確定調(diào)度指令；所述調(diào)度模塊用于根據(jù)所述調(diào)度指令進行通信調(diào)度。本公開支持全自動的通信調(diào)度。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機領(lǐng)域，尤其涉及一種可視化融合通信調(diào)度系統(tǒng)及其實現(xiàn)方法。

背景技術(shù)

隨著我國社會經(jīng)濟的高速發(fā)展，為滿足新形勢下人們?nèi)找嬖鲩L的通信需求以及通信應(yīng)用場景的不斷變化，各種行業(yè)都有自己的視頻調(diào)度解決方案。視頻調(diào)度大多依賴手動觸發(fā)指令進行，其自動化程度有待提升。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明提出了一種可視化融合通信調(diào)度系統(tǒng)及其實現(xiàn)方法。本發(fā)明具體是以如下技術(shù)方案實現(xiàn)的：

本公開提出一種可視化融合通信調(diào)度系統(tǒng)，所述系統(tǒng)包括視頻采集客戶端和服務(wù)器；

所述視頻采集客戶端包括視頻采集器、可視化組件、視頻流處理器和控制器，所述視頻采集器、可視化組件和視頻流處理器均與所述控制器連接；

所述視頻采集器用于采集用戶產(chǎn)生的視頻，所述用戶產(chǎn)生的視頻可以用于觸發(fā)通信調(diào)度，所述可視化組件用于與用戶進行可視化交互，所述視頻流處理器用于進行視頻流處理，所述控制器中包括調(diào)度判斷器，用于與毆視頻采集器進行數(shù)據(jù)交互，根據(jù)數(shù)據(jù)交互結(jié)果觸發(fā)可視化組件進行可視化交互，根據(jù)可視化交互結(jié)果與服務(wù)器交互；

所述服務(wù)器包括目標檢測模塊、手勢識別模塊、調(diào)度指令確定模塊和調(diào)度模塊；

所述目標檢測模塊用于基于所述視頻采集客戶端傳輸?shù)臄?shù)據(jù)進行目標檢測；所述手勢識別模塊用于基于目標檢測的結(jié)果進行手勢識別；所述調(diào)度指令確定模塊用于根據(jù)手勢識別的結(jié)果確定調(diào)度指令；所述調(diào)度模塊用于根據(jù)所述調(diào)度指令進行通信調(diào)度。

進一步地，所述調(diào)度模塊通過控制所述視頻采集客戶端的視頻流處理器進行通信調(diào)度，所述通信調(diào)度具體為視頻融合相關(guān)調(diào)度。

進一步地，所述目標檢測模塊包括目標檢測模型，所述目標檢測模型包括特征提取網(wǎng)絡(luò)、分割網(wǎng)絡(luò)和分類網(wǎng)絡(luò)，其中特征提取網(wǎng)絡(luò)包括解密器和提取器，解密器用于目標密文進行解密得到解密圖像，提取器用于對該解密圖像進行多尺度提取得到特征圖集；分割網(wǎng)絡(luò)包括分割路由和多個分割器，該分割路由用于根據(jù)目標類別確定對特征圖集進行分割的分割器，將該特征圖集傳輸至該分割器進行分割處理，以得到分割結(jié)果；分類網(wǎng)絡(luò)根據(jù)解密圖像、特征圖集和分割結(jié)果進行目標檢測。

進一步地，所述目標檢測模型基于下述訓(xùn)練方法得到：

獲取訓(xùn)練樣本集；

根據(jù)所述訓(xùn)練樣本集訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)，直至所述第一神經(jīng)網(wǎng)絡(luò)產(chǎn)生的損失小于第一損失閾值；所述第一神經(jīng)網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和與所述特征提取網(wǎng)絡(luò)連接的分割網(wǎng)絡(luò)；

根據(jù)所述訓(xùn)練樣本集和所述第一神經(jīng)網(wǎng)絡(luò)，訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)，直至所述第二神經(jīng)網(wǎng)絡(luò)產(chǎn)生的損失小于第二損失閾值；所述第二神經(jīng)網(wǎng)絡(luò)為分類網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)和所述分割網(wǎng)絡(luò)均與所述分類網(wǎng)絡(luò)連接。

進一步地，所述特征提取網(wǎng)絡(luò)用于對目標密文進行解密，并對解密結(jié)果進行多尺度特征提取得到特征圖集；所述分割網(wǎng)絡(luò)用于根據(jù)目標類別選擇對應(yīng)的分割器，利用該分割器對所述特征圖集進行分割，得到分割結(jié)果；所述分類網(wǎng)絡(luò)用于根據(jù)所述特征圖集和所述分割結(jié)果得到所述目標圖像的目標檢測結(jié)果。

一種可視化融合通信調(diào)度實現(xiàn)方法，所述方法包括：

獲取目標密文和目標類別；