[發明專利]一種圖像語義細粒度的描述生成方法

有效

• 申請號: 202011387365.6
• 申請日: 2020-12-01
• 公開（公告）號: CN112528989B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 李紅波;湯躍;吳渝
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 陳棟梁

1.一種圖像語義細粒度的描述生成方法，其特征在于，包括以下步驟：

步驟1：獲取開源并且已經標注描述的圖像數據集，根據數據集的大小，劃分訓練集、驗證集和測試集；抓取網絡上公開的文本數據，構建語料庫；

步驟2：對步驟1的圖像數據和文本數據進行綁定、篩選、轉格式和向量化的預處理；

步驟3：引入注意力機制的網絡模型對圖像進行特征提取，引入注意力機制的網絡模型自動選定圖像中感興趣的提議區域，并提取此區域的圖像特征；

步驟4：根據步驟3提取出的感興趣區域圖像特征作為反饋，對全局特征進一步篩選，提取出語義補充區域的特征；

步驟5：將步驟3提取出的感興趣區域的特征輸入到第一個長短時記憶網絡，生成粗糙的圖像語義描述；

步驟6：將步驟4提取出的語義補充區域的特征和步驟5已生成的圖像語義描述輸入到第二個長短時記憶網絡(LSTM)，LSTM根據補充區域的特征細化圖像語義的描述，最終得到圖像語義細粒度的描述； 經過訓練，輸入一張圖片就能對圖片進行理解，輸出細粒度的圖像描述；

所述步驟3引入注意力機制的網絡模型對圖像進行特征提取，引入注意力機制的網絡模型自動選定圖像中感興趣的提議區域，并提取此區域的圖像特征，具體包括：

使用Faster-RCNN網絡提取圖像感興趣區域特征向量，輸入的圖像經過卷積神經網絡CNN提取全局特征，再輸入到區域提議網絡RPN提取圖像感興趣區域特征，得到的圖像感興趣區域特征向量，每一維代表了圖像特征，維度為2048；對感興趣區域進一步分組，將感興趣區域設為集合B，將提取的物體特征結點信息設為集合N，將邊界框設為R,構建特征信息圖G＝{B,N,R}，將構建的特征信息圖和編碼的詞向量輸入到圖神經網絡GNN，候選區域特征的特征向量為f_i^b,物體特征向量為f_iⁿ,邊界框特征向量為f_i^r，在每個時間步驟t中，物體結點和相鄰邊界框的集合為N_i，物體結點和相鄰邊界框結點進行聚合：

其中表示隱藏狀態；

根據單詞的詞性，抽取不同語義層的特征信息，將名詞詞性的單詞與B集合綁定，同時也要與N集合綁定，將動詞詞性的單詞與集合R進行綁定，將特征信息f_i和詞向量v_c在全連接層上綁定進行轉換，轉換后的信息表示為I_c

所述步驟4具體實現方法為：將步驟3提取的感興趣區域特征作為輸入，這些感興趣區域特征經過雙線性插值進行縮放，得到同樣的維度，經過縮放后的特征為f，特征經過ReLu激活函數之后，生成逆向掩碼mask：

其中σ表示sigmoid激活函數；

逆向掩碼mask結合全局特征f_all，設置逆向權重ω_re，提取出語義補充區域的特征f_ed

f_ed＝ω_re*mask*f_all。

2.根據權利要求1所述的一種圖像語義細粒度的描述生成方法，其特征在于，所述步驟1具體采用的數據集如下：

a：Flickr30k數據集，經過選取和切分，包含29000張訓練圖片，1000張驗證圖片，1000張測試圖片；

b：抓取100多萬條英文句子組成圖像描述語料庫。

3.根據權利要求1所述的一種圖像語義細粒度的描述生成方法，其特征在于，所述步驟2對步驟1的圖像數據和文本數據進行預處理，具體包括步驟：

將圖像數據調整為相同的尺寸；去除語料庫的符號、數字和特殊字符，將所有的文本數據轉換為預定義的json格式，設置最大的單詞頻率，將出現次數超過設置的單詞頻率的單詞，添加到詞典中；將出現次數低于設置的單詞頻率的單詞，使用預設符號代替，構建出詞典；根據詞典的大小，通過Word2Vec編碼方法對單詞進行詞向量化。