[發(fā)明專利]一種可視化融合通信調(diào)度系統(tǒng)及其實(shí)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011317024.1
• 申請(qǐng)日: 2020-11-23
• 公開（公告）號(hào): CN112347975B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 張建軍
• 申請(qǐng)（專利權(quán)）人: 浙江華絡(luò)通信設(shè)備有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V40/20;G06V10/82;G06V10/774;G06V10/26;G06N3/045;G06N3/08;H04N7/14;H04N7/18
• 代理公司: 紹興上虞誠知?jiǎng)?chuàng)專利代理事務(wù)所(普通合伙) 33354
• 代理人: 劉鴻西

1.一種可視化融合通信調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)包括視頻采集客戶端和服務(wù)器；

所述視頻采集客戶端包括視頻采集器、可視化組件、視頻流處理器和控制器，所述視頻采集器、可視化組件和視頻流處理器均與所述控制器連接；

所述視頻采集器用于采集用戶產(chǎn)生的視頻，所述用戶產(chǎn)生的視頻可以用于觸發(fā)通信調(diào)度，所述可視化組件用于與用戶進(jìn)行可視化交互，所述視頻流處理器用于進(jìn)行視頻流處理，所述控制器中包括調(diào)度判斷器，用于與視頻采集器進(jìn)行數(shù)據(jù)交互，根據(jù)數(shù)據(jù)交互結(jié)果觸發(fā)可視化組件進(jìn)行可視化交互，根據(jù)可視化交互結(jié)果與服務(wù)器交互；

所述服務(wù)器包括目標(biāo)檢測(cè)模塊、手勢(shì)識(shí)別模塊、調(diào)度指令確定模塊和調(diào)度模塊；

所述目標(biāo)檢測(cè)模塊用于基于所述視頻采集客戶端傳輸?shù)臄?shù)據(jù)進(jìn)行目標(biāo)檢測(cè)；所述手勢(shì)識(shí)別模塊用于基于目標(biāo)檢測(cè)的結(jié)果進(jìn)行手勢(shì)識(shí)別；所述調(diào)度指令確定模塊用于根據(jù)手勢(shì)識(shí)別的結(jié)果確定調(diào)度指令；所述調(diào)度模塊用于根據(jù)所述調(diào)度指令進(jìn)行通信調(diào)度；

所述調(diào)度模塊通過控制所述視頻采集客戶端的視頻流處理器進(jìn)行通信調(diào)度，所述通信調(diào)度具體為視頻融合相關(guān)調(diào)度；

所述目標(biāo)檢測(cè)模塊包括目標(biāo)檢測(cè)模型，所述目標(biāo)檢測(cè)模型包括特征提取網(wǎng)絡(luò)、分割網(wǎng)絡(luò)和分類網(wǎng)絡(luò)，其中特征提取網(wǎng)絡(luò)包括解密器和提取器，解密器用于目標(biāo)密文進(jìn)行解密得到解密圖像，提取器用于對(duì)該解密圖像進(jìn)行多尺度提取得到特征圖集；分割網(wǎng)絡(luò)包括分割路由和多個(gè)分割器，該分割路由用于根據(jù)目標(biāo)類別確定對(duì)特征圖集進(jìn)行分割的分割器，將該特征圖集傳輸至該分割器進(jìn)行分割處理，以得到分割結(jié)果；分類網(wǎng)絡(luò)根據(jù)解密圖像、特征圖集和分割結(jié)果進(jìn)行目標(biāo)檢測(cè)；

其中視頻采集客戶端采集視頻，對(duì)所述視頻進(jìn)行間隔采樣得到多幀圖像；所述視頻采集客戶端將所述多幀圖像輸入調(diào)度判斷器，判斷所述多幀圖像是否滿足調(diào)度判斷條件，若滿足，則在所述多幀圖像中確定目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行特征提取，得到第一特征序列，根據(jù)所述第一特征序列得到目標(biāo)密文；

其中，所述在所述多幀圖像中確定目標(biāo)圖像，對(duì)所述目標(biāo)圖像進(jìn)行特征提取，得到第一特征序列，根據(jù)所述第一特征序列得到目標(biāo)密文，包括：

S1.計(jì)算各幀圖像i(iN)的與下一張相鄰的圖像的曝光特征差值α_i，其中，曝光特征由公式計(jì)算得到，其中，N_i,t_i,s_i,c_i,Δ分別表示第i個(gè)圖像的鏡頭的焦距/鏡頭通光直徑得出的相對(duì)值、曝光時(shí)間、感光靈敏度、曝光補(bǔ)償、預(yù)設(shè)常數(shù)；

S2.計(jì)算各個(gè)圖像i(iN)的與下一張相鄰的圖像的關(guān)聯(lián)特征差值β_i，其中所述關(guān)聯(lián)特征差值由公式得到，其中i,L_i(k),k,Γ分別表征圖像編號(hào)，圖像的灰度級(jí)分布統(tǒng)計(jì)函數(shù)，所述灰度級(jí)分布統(tǒng)計(jì)函數(shù)的階數(shù)、總階數(shù)；

S3.計(jì)算特征值T(i)＝k₁α_i+k₂(β_i-1)，其中T,k₁,k₂分別表征特征值，第一權(quán)值和第二權(quán)值；

S4.將特征值最小的圖像確定為目標(biāo)圖像；

對(duì)所述目標(biāo)圖像進(jìn)行特征提取，得到第一特征序列，根據(jù)所述第一特征序列得到目標(biāo)密文，包括：根據(jù)公式得到目標(biāo)密文，其中S_in(k)，α，β，λ，γ，S_o分別表示第一特征序列，第一固設(shè)參數(shù)，第二固設(shè)參數(shù)，第三固設(shè)參數(shù)，第四固設(shè)參數(shù)和目標(biāo)密文。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述目標(biāo)檢測(cè)模型基于下述訓(xùn)練方法得到：

獲取訓(xùn)練樣本集；

根據(jù)所述訓(xùn)練樣本集訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)，直至所述第一神經(jīng)網(wǎng)絡(luò)產(chǎn)生的損失小于第一損失閾值；所述第一神經(jīng)網(wǎng)絡(luò)包括特征提取網(wǎng)絡(luò)和與所述特征提取網(wǎng)絡(luò)連接的分割網(wǎng)絡(luò)；

根據(jù)所述訓(xùn)練樣本集和所述第一神經(jīng)網(wǎng)絡(luò)，訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)，直至所述第二神經(jīng)網(wǎng)絡(luò)產(chǎn)生的損失小于第二損失閾值；所述第二神經(jīng)網(wǎng)絡(luò)為分類網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)和所述分割網(wǎng)絡(luò)均與所述分類網(wǎng)絡(luò)連接。