[發明專利]一種基于時空記憶注意力的圖像描述方法

有效

• 申請號: 201911384977.7
• 申請日: 2019-12-28
• 公開（公告）號: CN111144553B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 徐騁;冀俊忠;張曉丹
• 申請（專利權）人: 北京工業大學
• 主分類號: G06N3/0442
• 分類號: G06N3/0442;G06N3/0464;G06N3/0455;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了一種基于時空記憶注意力的圖像描述方法，步驟(1)獲取MS?COCO圖像描述數據集并預處理；步驟(2)構建編碼器模型，對編碼器模型進行預訓練，完成MS?COCO圖像數據I的編碼，得到圖像特征V；步驟(3)構建解碼器，對圖像特征V進行解碼；步驟(4)模型訓練。本方法搭建的模型在原有的注意力模型中采用長短時記憶網絡中門控制和記憶。相比較于傳統的注意力模型，時空記憶注意力模型中新添加了一個記憶矩陣，用于動態地存儲過去時刻注意力特征，并在在輸入門、輸出門、遺忘門的控制作用下不斷自我更新，最終輸出時序空間上相關的注意力特征?；赟TMA模型，本方法不僅在圖像關注的位置上更為準確，圖像描述結果更加準確。

技術領域

本發明屬于計算機視覺和自然語言處理的交叉研究領域，具體地說，本發明設計了一種基于時空記憶注意力的圖像描述方法。

背景技術

圖像描述，簡而言之就是用一句話描述圖像中的主要內容，這需要機器有對圖像內容的理解能力以及與人類相似的內容表達能力。圖像描述是連接計算機視覺和自然語言處理兩個研究領域的難題，確定圖像中物體對象的存在、屬性和關系已非易事，用合適的語句描述這些信息使這項任務變得更加困難。如何用流暢的語句，準確地描述圖像中的內容是圖像描述領域的研究目標。圖像描述的研究與發展依賴于計算機視覺、自然語言處理技術的進步，也有助于帶動計算機視覺、自然語言處理等相關領域的發展，更加有助于推動人工智能相關應用的實現，例如視覺障礙輔助、視覺語音導航、智能聊天機器人、幼兒教育以及醫學報告自動生成等等。

最初的圖像描述研究受限于計算能力、模型方法、數據大小等原因，對圖像的描述范圍進行了限定，直到最近才提出生成更加通用、實際的生活圖像的描述。圖像描述的早期工作主要沿著基于檢索和基于模板兩個研究方向，然而這兩類方法通常利用訓練數據集中的現有描述或依賴于語言結構模板來完成圖像描述任務，導致圖像描述不夠靈活，描述質量在很大程度上受到了限制。近幾年，由于計算機硬件計算能力的提高，數據量的爆發式增長，深度神經網絡技術得到了發展，在計算機視覺、自然語言處理等研究領域表現出巨大的應用前景。強大的深度神經網絡為視覺和語言建模提供了有效的解決方案，基于深度神經網絡的編碼器-解碼器框架方法使圖像描述取得了巨大的進步。

目前，基于編碼器-解碼器框架的方法一般先使用編碼器模型提取圖像中的特征，再由解碼器模型從編碼特征中逐步解碼生成描述語句。這類方法通常先采用卷積神經網絡(Convolutional?Neural?Network,CNN)作為編碼器對圖像進行特征編碼，再使用循環神經網絡(Recurrent?Neural?Network,RNN)對特征解碼生成描述語句。其中，結合注意力模型的編碼器-解碼器圖像描述方法也成為該類方法中的主流方法。注意力機制(AttentionMechanism)源于對人腦視覺的研究，由于信息處理的瓶頸，人腦會選擇性地關注所有信息的一部分，同時忽略其他可見的信息。基于注意力機制構建的模型結構稱為注意力模型，該模型的引入讓解碼器具有重點關注部分編碼特征的能力，即關注原圖像中的局部區域，促進了圖像描述方法的巨大進步，但是目前引入的注意力模型中也存在著問題。

一般認為語言描述是一種時序表示，而目前圖像描述方法在結合的注意力模型僅實現了對圖像空間特征進行提取，忽視了語言表達中的時序性，即每一時刻注意力模型獲得的注意力特征在時序上相互獨立，這與人類觀察事物的過程存在區別，直接造成注意力特征獲取的不夠準確，阻礙了圖像描述效果的進一步提高。

發明內容