[發(fā)明專利]一種基于動態(tài)詞嵌入的多模態(tài)Transformer的圖像描述方法

在審

• 申請?zhí)枺?/td>: 202110537165.2
• 申請日: 2021-07-19
• 公開（公告）號: CN113344036A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 曾凱;楊文瑞;朱艷;沈韜;劉英莉
• 申請（專利權(quán)）人: 昆明理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T9/00;G06F40/30
• 代理公司: 昆明同聚專利代理有限公司 53214
• 代理人: 王遠同

本發(fā)明公開一種基于動態(tài)詞嵌入的多模態(tài)Transformer的圖像描述方法，屬于人工智能的領(lǐng)域。本發(fā)明構(gòu)建了一種同時進行模態(tài)內(nèi)與模態(tài)間注意力的模型，實現(xiàn)了多模態(tài)信息的融合，將卷積神經(jīng)網(wǎng)絡(luò)與Transformer進行橋接，并將圖像信息以及文本信息在同一向量空間進行融合，提高了模型進行語言描述的準確率；減少了圖像描述領(lǐng)域存在的語義鴻溝問題，本發(fā)明相對于使用Bottom?up與LSTM的基線模型在BLEU?1、BLEU?2、BLEU?3、BLEU?4、ROUGE?L、CIDEr?D上都有提高。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于動態(tài)詞嵌入的多模態(tài)Transformer的圖像描述方法，屬于人工智能技術(shù)領(lǐng)域。

背景技術(shù)

多模態(tài)深度學習旨在通過深度學習的方法實現(xiàn)處理和理解多源模態(tài)信息的能力。隨著社會和經(jīng)濟的快速興起，多模態(tài)深度學習已在社會生產(chǎn)中的各個方面有了眾多應(yīng)用，起到了非常矚目的效果。目前比較熱門的研究方向是圖像、視頻、音頻、語義之間的多模態(tài)學習。例如：在語音識別中，人類通過合并語音-視覺信息來理解語音。視覺模態(tài)提供了發(fā)音地方和肌肉運動的信息，可以幫助消除相似語音的歧義，以及通過肢體行為和語音來判斷說話者的情緒等等。

采用自然語言對圖像中的內(nèi)容進行描述，被稱作為圖像字幕描述。語義不僅需要計算機識別圖像的對象和屬性，還需要理解他們的關(guān)系，生成語法語義正確的自然語言。最早應(yīng)用的圖像處理方法是借助傳統(tǒng)的機器學習加以實現(xiàn)，例如通過圖像處理算子對圖像進行特征提取，再借助支持向量機(SVM)劃分圖像類型，從而得到圖像目標。據(jù)此得到的目標與屬性即為生成語句的基礎(chǔ)，而實際中使用本方法時取得的效果未達到預(yù)期。深入探索本領(lǐng)域研究歷程，劃分圖像語義描述為三種類型，分別為基于檢索的圖像描述、基于模板的圖像描述及基于深度學習的圖像描述。

基于檢索的方法是指使用基本的圖像處理算法，提取出圖像的特征值，并且檢測出圖像的目標，獲取其相應(yīng)的標簽信息，然后根據(jù)所得到的標簽信息在相應(yīng)的語料庫中進行檢索，尋找最為匹配的的描述作為圖像的標題然而，這種方法只能對一幅圖像進行標題的生成，而且只能生成語料庫中的標題，標題不具有多樣性，有些刻板生硬，并且不能準確直觀的描述出圖像中目標的相對關(guān)系，導(dǎo)致兩幅出現(xiàn)了相同目標但位置關(guān)系完全不同的圖像生成的標題卻是相同的。基于模板的方法，主要使用相對成熟的計算機視覺技術(shù)來進行圖像信息的特征提取，這里的圖像信息既包括圖像中的目標，業(yè)包括目標的屬性，然后將這些檢測到的目標填入模板。這種方法在很大程度上解決了生成文本不夠豐富的問題。但是由于該方法對人為設(shè)置的模板以及語法模型十分的依賴，所以導(dǎo)致生成的自然語言描述的結(jié)構(gòu)也十分的單一。近年來。隨著技術(shù)的不斷發(fā)展，使用神經(jīng)網(wǎng)絡(luò)來進行圖像描述的方法變得成熟，使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來進行圖像特征值的提取，使用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)來進行描述的生成的這種編碼解碼框架成為主流。雖然基于CNN-RNN框架的圖像描述算法已經(jīng)取得了很好的準確率，但是仍然存在不足：現(xiàn)在有基于CNN-RNN的方法都大多在進行當前的主要工作都是在不同的模態(tài)間引入注意力機制，尋求圖像與文本之間的注意力得分，而忽略了模態(tài)內(nèi)的自注意力，即尋求圖像特征與文本描述模態(tài)內(nèi)的自我注意，這使得圖像底層視覺信息和最終的自然語言描述存在明顯的語義鴻溝，導(dǎo)致模型不能很好表示圖像目標之間的語義關(guān)系。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于動態(tài)詞嵌入的多模態(tài)Transformer的圖像描述方法，本方法使用的是多模態(tài)深度學習模型，使用模態(tài)間與模態(tài)內(nèi)注意力的聯(lián)合建模方式，對輸入的數(shù)據(jù)進行建模，從而生成相應(yīng)的描述，解決了傳統(tǒng)方法中只是用模態(tài)間注意力而導(dǎo)致模型對語義理解不夠全面并且效果較差的問題，具體包括以下步驟：

(1)使用圖像特征提取器組件，選中圖像的顯著區(qū)域，對圖像進行圖像特征的提取：對圖像中的目標進行特征提取，生成更有意義的圖像特征矩陣。

(2)使用Transformer的圖像特征編碼器組件，對圖像特征進行編碼。