[發明專利]長時記憶增強的段落級別圖像描述生成方法

在審

• 申請號: 202110609977.3
• 申請日: 2021-06-01
• 公開（公告）號: CN113591874A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 丁貴廣;陳輝
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種長時記憶增強的段落級別圖像描述生成方法，其特征在于，包括以下步驟：

獲取待描述的圖像，并通過預訓練的卷積神經網絡對所述圖像進行圖像特征編碼；

獲取歷史信息并通過第一循環神經網絡對所述歷史信息進行歷史信息編碼；

通過高容量記憶池存儲每個時刻的歷史信息，使用注意力機制從所述高容量記憶池中檢索出與所述歷史信息編碼相關的歷史記憶信息，并將檢索到的所述歷史記憶信息映射成一個記憶向量，以得到記憶增強的歷史信息編碼；

利用視覺注意力機制獲取所述圖像特征編碼的圖像上下文視覺特征，通過第二循環神經網絡將所述圖像上下文視覺特征和所述記憶增強的歷史信息編碼處理為預測向量，基于所述預測向量使用softmax層預測下一時刻的詞的分布信息，完成自然語言描述生成。

2.如權利要求1所述的長時記憶增強的段落級別圖像描述生成方法，其特征在于，在所述通過預訓練的卷積神經網絡對所述圖像進行圖像特征編碼中，具體包括以下步驟：

通過對象檢測模型自動識別所述圖像中的顯著性對象的語義信息和位置信息；

選取概率最高的36個對象區域，并使用區域池化的方式得到所述圖像的全局特征；其中：

每個所述對象區域的局部區域特征表示為：

V＝{v_i|v_i∈R²⁰⁴⁸,i∈[1,36]}

其中，每個v_i是一個2048維度的向量，并定義V局部區域特征，i為對象區域的個數；

所述使用區域池化的方式得到的所述圖像的全局特征表示為：

其中，表示圖像的全局特征，每個v_i是一個2048維度的向量，i為對象區域的個數。

3.如權利要求1所述的長時記憶增強的段落級別圖像描述生成方法，其特征在于，在所述獲取歷史信息并通過第一循環神經網絡對所述歷史信息進行歷史信息編碼中，包括，

所述第一循環神經網絡將所述歷史信息編碼成兩個隱藏向量，在當前時刻t，將上一時刻t-1的預測結果輸入到所述第一循環神經網絡中，所述第一循環神經網絡根據門控網絡來更新所述隱藏向量，并將當前時刻t的信息融合到歷史信息中進行編碼更新。

4.如權利要求3所述的長時記憶增強的段落級別圖像描述生成方法，其特征在于，所述第一循環神經網絡將所述歷史信息編碼成兩個隱藏向量，在當前時刻t，將上一時刻t-1的預測結果輸入到所述第一循環神經網絡中，所述第一循環神經網絡根據門控網絡來更新所述隱藏向量，并將當前時刻t的信息融合到歷史信息中進行編碼更新，具體包括下述步驟：

將所述當前時刻t的所述歷史信息生成單詞序列，通過長短期記憶網絡對所述單詞序列進行編碼；其中，在每個所述當前時刻t，首先使用一個詞向量查找表將離散的所述單詞序列轉化一個單詞特征，其中，

所述單詞序列表示為：

Y_t＝[y₁,y₂,y₃,…,y_t]

其中，Y_t為單詞序列，y_t為t時刻的單詞；

所述單詞特征表示為：

其中，E^y∈R^N×d，N為整個數據集的詞匯表的大小，d＝512，y_t為t時刻的單詞，為y_t的特征。