[發(fā)明專利]基于跨模態(tài)文本檢索注意力機(jī)制的文本指導(dǎo)圖像分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110952433.7
• 申請(qǐng)日: 2021-08-19
• 公開（公告）號(hào): CN113657400A
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計(jì)）人: 劉宇;陳鵬;單世民;李新宇;徐凱平
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 遼寧鴻文知識(shí)產(chǎn)權(quán)代理有限公司 21102
• 代理人: 楊植

1.一種基于跨模態(tài)文本檢索注意力機(jī)制的文本指導(dǎo)圖像分割方法，其特征在于，步驟如下：

(1)特征提取：

對(duì)輸入自然語(yǔ)言文本和RGB圖片進(jìn)行特征提取；

對(duì)于自然語(yǔ)言文本，使用one-hot方法將每個(gè)單詞表示為向量，將該向量嵌入成低維向量后輸入LSTM長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，將最終隱藏態(tài)作為整個(gè)自然語(yǔ)言文本的文本表示向量F_l；

對(duì)于RGB圖片，采用ResNet-1O1卷積神經(jīng)網(wǎng)絡(luò)的Res3，Res4，Res5層提取圖片特征作為視覺特征在三層特征圖使用相同處理步驟，視覺特征統(tǒng)稱為F_v；其中卷積神經(jīng)網(wǎng)絡(luò)采用DeepLab語(yǔ)義分割模型預(yù)訓(xùn)練參數(shù)作為初始參數(shù)；之后將每個(gè)視覺特征向量的位置坐標(biāo)嵌入視覺特征F_v中，具體過程如下：

對(duì)于長(zhǎng)寬為w，h的視覺特征圖，其中w＝h＝40；以視覺特征圖的中心位置作為坐標(biāo)原點(diǎn)(0，0)，特征圖左上角位置坐標(biāo)記為(-1，-1)，右下角位置坐標(biāo)記為(+1，+1)，特征圖中第i行j列的像素空間位置坐標(biāo)為

最后將視覺特征F_v與文本表示向量F_l級(jí)聯(lián)后映射至500維的文本圖像多模態(tài)特征空間M；

(2)圖文信息深度融合：

將步驟(1)中生成的文本表示向量F_l與多模態(tài)特征空間M中的每個(gè)位置做哈達(dá)瑪乘積實(shí)現(xiàn)對(duì)二者多模態(tài)信息的建模，實(shí)現(xiàn)文本與圖像信息深度融合至統(tǒng)一的多模態(tài)混合特征空間M′；

(3)深層次關(guān)系捕捉：

將步驟(1)中生成的文本表示向量F_l作為注意力機(jī)制的查詢向量，步驟(2)生成的多模態(tài)混合特征空間M′作為檢索區(qū)域，使用基于文本的跨模態(tài)注意力機(jī)制查詢多模態(tài)混合特征空間中與文本相似區(qū)域，生成具有定位目標(biāo)物體的特征圖R；

(4)多層級(jí)特征混合：

步驟(1)中采用的ResNet101視覺編碼器能夠得到三個(gè)來自Res3，Res4，Res5層級(jí)的視覺特征F_v；在獲取方法預(yù)測(cè)的最終結(jié)果需要將三個(gè)層級(jí)的特征進(jìn)行混合；

使用R⁽ⁱ⁾表示步驟(3)生成的第i層的混合信息特征圖i∈{3，4，5}；由于R⁽ⁱ⁾屬于不同層深層次關(guān)系捕捉模塊輸出的特征圖，具有著不同的通道維度；首先使用1×1卷積將所有不同層的混合特征圖通道壓縮成相同維度數(shù)，將映射后的輸出結(jié)果記為X⁽ⁱ⁾；之后對(duì)于第i個(gè)層級(jí)，使用一個(gè)記憶門單元m⁽ⁱ⁾和重置門單元聯(lián)合控制最終結(jié)果的生成，記憶門單元m⁽ⁱ⁾和重置門單元r⁽ⁱ⁾的作用類似于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)中的門控單元，控制著對(duì)應(yīng)層中特征對(duì)于最終結(jié)果的貢獻(xiàn)度，貢獻(xiàn)度權(quán)重比例越高，意味著對(duì)應(yīng)層語(yǔ)義信息提供的越多，所處特征層越重要；此外還包含一個(gè)上下文控制器C⁽ⁱ⁾，用來表示其他層流至第i層特征的信息；門控多層級(jí)混合能夠有效融合來自不同層級(jí)的特征語(yǔ)義信息，通過學(xué)習(xí)訓(xùn)練的手段自動(dòng)生成最佳權(quán)重比例，使模型結(jié)果更加準(zhǔn)確，提高模型的分割細(xì)節(jié)精度。