[發(fā)明專利]面向增量任務(wù)的目標(biāo)檢測語義通信系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202310353894.1
• 申請日: 2023-03-24
• 公開（公告）號: CN116385785A
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計）人: 李愛妮;王光宇;陳昊;張平
• 申請（專利權(quán)）人: 鵬城實驗室
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06V10/40;G06V10/77;G06N3/0464;G06N3/08
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 高莎

本發(fā)明屬于語義通信技術(shù)領(lǐng)域，公開了一種面向增量任務(wù)的目標(biāo)檢測語義通信系統(tǒng)及方法；該系統(tǒng)包括：任務(wù)預(yù)處理模塊根據(jù)待檢測類別確定新類別數(shù)量，根據(jù)新類別數(shù)量得到狀態(tài)信號；語義編碼模塊在狀態(tài)信號為增量更新狀態(tài)信號時，對待檢測圖像數(shù)據(jù)集特征提取得到待識別原特征和待識別現(xiàn)特征；語義解碼模塊接收增量更新狀態(tài)信號，對待識別原特征、待識別現(xiàn)特征特征識別得到新類別識別結(jié)果和原類別識別結(jié)果；參數(shù)優(yōu)化模塊根據(jù)識別結(jié)果以及新類別標(biāo)簽構(gòu)建總損失函數(shù)，對模型進(jìn)行參數(shù)優(yōu)化完成增量任務(wù)的目標(biāo)檢測；本發(fā)明通過原類別和新類別的識別結(jié)果構(gòu)建總損失函數(shù)，總損失函數(shù)對模型進(jìn)行約束，實現(xiàn)通過該模型在準(zhǔn)確識別新類別的同時也能準(zhǔn)確識別原類別。

技術(shù)領(lǐng)域

本發(fā)明涉及語義通信技術(shù)領(lǐng)域，尤其涉及一種面向增量任務(wù)的目標(biāo)檢測語義通信系統(tǒng)及方法。

背景技術(shù)

現(xiàn)有的面向任務(wù)的圖像語義通信系統(tǒng)只涉及到較為簡單的圖像分類、圖像檢測。另外，現(xiàn)有的圖像語義通信系統(tǒng)沒有考慮任務(wù)或類別更新的情況，導(dǎo)致其只適用于定義明確而且范圍狹窄的極其有限任務(wù)。

但是，不可避免的在使用圖像語義通信的過程中，會不斷的存在新任務(wù)。所以，目前仍需要繼續(xù)探究如何當(dāng)任務(wù)中出現(xiàn)新的類別時，利用新數(shù)據(jù)對語義編碼模塊和語義解碼模塊進(jìn)行面向任務(wù)的增量更新目標(biāo)檢測訓(xùn)練，使得既能對舊類別也能對新類別進(jìn)行高準(zhǔn)確率的目標(biāo)檢測。

上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種面向增量任務(wù)的目標(biāo)檢測語義通信系統(tǒng)，旨在解決現(xiàn)有技術(shù)中目標(biāo)檢測語義通信系統(tǒng)對新類別準(zhǔn)確檢測的同時，原類別的檢測準(zhǔn)確率無法得到保證的技術(shù)問題。

為實現(xiàn)上述目的，本發(fā)明提供了一種面向增量任務(wù)的目標(biāo)檢測語義通信系統(tǒng)，所述面向增量任務(wù)的目標(biāo)檢測語義通信系統(tǒng)包括任務(wù)預(yù)處理模塊、語義編碼模塊、無線信道、參數(shù)優(yōu)化模塊以及語義解碼模塊；

所述任務(wù)預(yù)處理模塊，用于獲取待檢測圖像數(shù)據(jù)集以及待檢測類別，根據(jù)所述待檢測類別確定新類別數(shù)量，根據(jù)所述新類別數(shù)量得到狀態(tài)信號，將所述狀態(tài)信號、所述待檢測圖像數(shù)據(jù)集發(fā)送至所述語義編碼模塊；

所述語義編碼模塊，用于接收所述狀態(tài)信號，在所述狀態(tài)信號為增量更新狀態(tài)信號時，基于所述增量更新狀態(tài)信號對所述待檢測圖像數(shù)據(jù)集進(jìn)行特征提取得到待識別原特征和待識別現(xiàn)特征，將所述待識別原特征、所述待識別現(xiàn)特征、所述增量更新狀態(tài)信號通過無線信道發(fā)送至語義解碼模塊；

所述語義解碼模塊，用于接收所述待識別原特征、所述待識別現(xiàn)特征、所述增量更新狀態(tài)信號，基于所述增量更新狀態(tài)信號對所述待識別原特征、所述待識別現(xiàn)特征進(jìn)行特征識別得到新類別識別結(jié)果和原類別識別結(jié)果；

所述參數(shù)優(yōu)化模塊，用于根據(jù)新類別識別結(jié)果、原類別識別結(jié)果以及所述待檢測圖像數(shù)據(jù)集的新類別標(biāo)簽構(gòu)建總損失函數(shù)，根據(jù)所述總損失函數(shù)對所述特征提取網(wǎng)絡(luò)模型和所述特征識別網(wǎng)絡(luò)模型進(jìn)行參數(shù)優(yōu)化完成增量任務(wù)的目標(biāo)檢測。

可選地，所述任務(wù)預(yù)處理模塊，還用于獲取任務(wù)類別列表，判斷所述任務(wù)類別列表是否為空白列表，若所述任務(wù)類別列表為空白列表，得到首次訓(xùn)練狀態(tài)信號；

所述任務(wù)預(yù)處理模塊，還用于在所述任務(wù)類別列表不是空白列表時，遍歷所述任務(wù)類別列表，將所述待檢測類別與所述任務(wù)類別列表中的任務(wù)類別進(jìn)行匹配；

所述任務(wù)預(yù)處理模塊，還用于在所述待檢測類別與所述任務(wù)類別列表中的任務(wù)類別全部匹配成功時，得到測試狀態(tài)信號；

所述任務(wù)預(yù)處理模塊，還用于在所述待檢測類別與所述任務(wù)類別列表中的任務(wù)類別存在匹配失敗時，根據(jù)所述待檢測類別與所述任務(wù)類別列表中的任務(wù)類別匹配失敗次數(shù)得到新類別數(shù)量，根據(jù)所述新類別數(shù)量得到增量更新狀態(tài)信號。