[發(fā)明專利]一種目標跨域檢測與理解方法、系統(tǒng)、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010845641.2
• 申請日: 2020-08-20
• 公開（公告）號: CN112001385A
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計）人: 劉占文;趙祥模;高濤;沈超;樊星;陳婷;徐江;張凡;班邵雄
• 申請（專利權(quán)）人: 長安大學(xué)
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06F40/30
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李紅霖

1.一種基于注意估計的目標跨域檢測與理解方法，其特征在于，包括如下步驟：

步驟1：以空間概率控制層作為輸入圖像通道，結(jié)合邊緣顯著交叉點池化層，構(gòu)建一種輕量化卷積神經(jīng)網(wǎng)絡(luò)；

步驟2：利用引導(dǎo)語義層次包含關(guān)系進行跨域建模，利用目標跨域訓(xùn)練樣本引導(dǎo)語義的提取與表示；基于引導(dǎo)語義之間的深層包含關(guān)系，構(gòu)建具有引導(dǎo)語義層次包含關(guān)系的樹形結(jié)構(gòu)，用于對具體意圖下的NEGSS-NET跨域增強感知；

步驟3：基于步驟2的樹形結(jié)構(gòu)，在復(fù)雜場景視覺特征與引導(dǎo)語義之間建立映射預(yù)測網(wǎng)絡(luò)，獲得特征映射具體過程及定義、映射網(wǎng)絡(luò)具體結(jié)構(gòu)及定義，實現(xiàn)圖像視覺特征空間到語義空間的映射；

步驟4：定義聯(lián)合引導(dǎo)語義損失和基于意圖的目標值得注意度估計，獲得基于意圖的值得注意度。

2.根據(jù)權(quán)利要求1所述的基于注意估計的目標跨域檢測與理解方法，其特征在于，所述步驟1具體包括：

步驟11，利用多尺度空間概率劃分方法建立位置概率控制通道；

步驟12，通過Mobilenet v3輸出的特征圖進行卷積得到F＝{f_l,f_r,f_t,f_b}，然后進行顯著點池化，獲得對角線頂點預(yù)測熱圖、偏置以及嵌入值，得到輕量化卷積神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的基于注意估計的目標跨域檢測與理解方法，其特征在于，所述步驟11所述的構(gòu)建位置概率控制通道具體包括：

步驟111，分析目標的先驗位置統(tǒng)計特征，將數(shù)據(jù)集內(nèi)樣本圖像分辨率預(yù)處理為W*H；然后，通過統(tǒng)計像素點m內(nèi)出現(xiàn)目標位置的次數(shù)k，其中目標個數(shù)為i＝{1,2，..n}，表示目標i在像素點m處的計數(shù)器，

最后，利用p_m＝k/n計算得出像素點m處出現(xiàn)目標的概率；

步驟112，利用不同大小的刻度，分別將輸入樣本圖像劃分為多個相同的區(qū)域；

步驟113，計算出步驟112中同一區(qū)域內(nèi)所有像素點出現(xiàn)的目標概率值之和，作為該區(qū)域內(nèi)每個像素點的概率值；然后，將不同區(qū)域下每個像素點的概率值相加并進行歸一化，之后建立基于目標中心點概率統(tǒng)計的空間概率控制模版。

4.如權(quán)利要求2所述的一種基于注意估計的目標跨域檢測與理解方法，其特征在于，所述步驟12所述的顯著點池化過程的具體操作如下：

首先，假設(shè)特征圖f_l和f大小為W*H，像素位置(i，j)處的特征值分別為f_l(i,j)和f_t(i,j)；然后，按照式(2)計算f_l(i,j)與f_l(i,j+Step)之間的最大值d_ij，按照式(3)計算f_t(i,j)與f_t(i,j+Step)之間的最大值g_ij，

最后，按照式(4)將像素位置(i，j)處的兩個最大值相加得到的特征值h_(i,j)，作為像素位置(i，j)處的最終特征值。

5.如權(quán)利要求1所述的一種基于注意估計的目標跨域檢測與理解方法，其特征在于，所述步驟2的具體操作如下：

步驟21，獲得目標類別標注；

步驟22，將多個域涉及到的目標樣本及類別文本標簽進行語義空間映射，得到對應(yīng)的語義類別向量；

步驟23，在目標引導(dǎo)語義向量空間中形成超類向量，以超類向量作為引導(dǎo)語義層次樹節(jié)點，構(gòu)建引導(dǎo)語義層次樹；

步驟24，基于引導(dǎo)語義層次樹的網(wǎng)絡(luò)訓(xùn)練，使目標底層視覺特征空間與引導(dǎo)語義空間形成映射。

6.如權(quán)利要求2所述的一種基于注意估計的目標跨域檢測與理解方法，其特征在于，所述步驟23的具體操作如下：

通過L1距離或余弦相似度表示目標引導(dǎo)語義向量空間中各向量之間的相關(guān)性，利用聚類算法，根據(jù)相似性在目標引導(dǎo)語義向量空間中形成超類向量，作為引導(dǎo)語義層次樹節(jié)點，采用t-SNE降維可視化的方法，對聚類后的類別標簽詞向量初步進行可視化處理。