[發明專利]基于層級神經網絡的圖像-句子描述生成系統及方法

有效

• 申請號: 201810267719.X
• 申請日: 2018-03-28
• 公開（公告）號: CN108416065B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 張玥杰;程勇;周練;張濤
• 申請（專利權）人: 復旦大學
• 主分類號: G06F16/58
• 分類號: G06F16/58;G06N3/08
• 代理公司: 上海盈盛知識產權代理事務所(普通合伙) 31294
• 代理人: 孫佳胤

1.基于層級神經網絡的圖像-句子描述生成系統，其特征在于，包括：深度卷積網絡、第一深度循環神經網絡、第二深度循環神經網絡；所述深度卷積網絡獲取圖像，計算圖像特征向量在嵌入空間的嵌入向量；并輸出到第一深度循環神經網絡和第二深度循環神經網絡；所述第一深度循環神經網絡識別圖像中包含的物體，向第二深度循環神經網絡輸出物體序列；所述第二深度循環神經網絡根據所述嵌入向量和物體序列輸出描述所述圖像的句子；所述深度卷積網絡采用16層VGGNet；所述VGGNet將所述圖像轉變為一個4096維的全連接層，所述全連接層的計算公式為：其中，θ_c是VGGNet中包含的所有參數，W_v為映射矩陣，b_v為偏置權重，I為特征向量，v為嵌入向量；所述第一深度循環神經網絡采用包括LSTM層和Softmax層的兩層網絡，所述LSTM層的當前輸入包括：之前時刻所輸出的狀態信息y^t-1，和之前時刻所生成的物體詞所對應的詞向量O^t-1；y⁰＝v，y^t＝LSTM(y^t-1，W_eo(O^t-1))；其中表示的是詞嵌入矩陣，D_o是包含所有物體詞的詞典，dim表示的是詞向量的維度；y^t對應的是在t時刻LSTM的狀態信息，在收到終止符時刻，LSTM層向Softmax層輸出當前時刻狀態信息，Softmax層計算當前時刻物體詞的概率分布：p(O^t)＝softmax(y^t)；

所述第二深度循環神經網絡采用包括LSTM層和Softmax層的兩層網絡，在時刻t，LSTM的輸入包含了三部分：之前時刻的隱藏狀態h^t-1、之前時刻所生成的詞S^t-1所對應的詞向量、上下文特征向量c^t，其中，

e_t，i＝corr(h^t-1，yⁱ)0≤i≤T_o，corr()用來計算當前狀態與多模態信息之間的相關度值，通過一個多層感知器的方式來計算；

h⁰＝0，S⁰＝′S′，

h^t＝LSTM(h^t-1，c^t-1，W_es(S^t-1))，

p(S^t)＝softmax(h^t)，

表示的是在訓練集中的詞典對應的詞向量矩陣，D_s對應的是詞典集合，x_o表示物體序列長度；dim是詞向量的維度，h^t通過softmax層后輸出在詞典上的概率分布p(S^t)，y⁰為初始時刻的lstm狀態，S⁰指的是初始詞匯。

2.依據權利要求1所提供的基于層級神經網絡的圖像-句子描述生成系統的方法，其特征在于，包括：

步驟一、所述深度卷積網絡獲取圖像，利用訓練深度CNN模型對圖像進行特征表示，提取出圖像特征向量在嵌入空間的嵌入向量；并輸出到第一深度循環神經網絡和第二深度循環神經網絡；

步驟二、所述第一深度循環神經網絡以所述特征向量為輸入，按順序識別出圖像中包含的物體信息，并通過構建RNN模型的方式依次生成物體所對應的文字信息，向第二深度循環神經網絡輸出物體序列信息；

步驟三、所述第二深度循環神經網絡根據所述嵌入向量和物體序列輸出描述所述圖像的句子。