[發明專利]一種基于融合門循環網絡模型的圖像轉語言方法

在審

• 申請號: 202110123810.6
• 申請日: 2021-01-29
• 公開（公告）號: CN112884019A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 周自維;王朝陽;徐亮
• 申請（專利權）人: 遼寧科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F40/216;G06F40/284;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 沈陽天贏專利代理有限公司 21251
• 代理人: 趙嬛嬛

1.一種基于融合門循環網絡模型的圖像轉語言方法，其特征在于：包括：

(1)將圖像數據集中的圖像隨機納入訓練集，將訓練集中的圖像數據進行預處理獲得適應卷積網絡尺寸的圖像和包含所有詞向量的集合，并將預處理后的圖像進行卷積得到圖像輸出向量；

(2)將所述圖像輸出向量與所述集合中的起始符合并作為融合門循環網絡模型的輸入，進入所述融合門循環網絡模型后經過t₀時間步產生第一隱藏層輸出；將所述第一隱藏層輸出與所述集合中的第一個詞向量合并作為t₁時間步的輸入，進入所述融合門循環網絡模型經過t₁時間步獲得第二隱藏層輸出，如此循環迭代直至所述集合中所有詞向量全部參與循環迭代過程，融合門循環網絡模型訓練完成；

(3)將待處理圖像輸入到訓練完成的融合門循環網絡模型中生成語言信息。

2.根據權利要求1所述的一種基于融合門循環網絡模型的圖像轉語言方法，其特征在于：所述步驟(1)中圖像數據集為MSCOCO2014數據集或者MSCOCO2017數據集。

3.根據權利要求1或2所述的一種基于融合門循環網絡模型的圖像轉語言方法，其特征在于：所述步驟(1)中將訓練集中的圖像數據進行預處理，包括：

(1-1)將每一張圖像處理成224×224大小，并將每張圖像中的每一個自然語言語句與該圖像成對保存，一個圖像-自然語言語句作為一個圖像理解數據；

(1-2)獲取所有圖像理解數據中具有最長序列的自然語言語句的長度，然后采用填充符將剩下的自然語言語句的序列填充至該長度，并且重新保存填充完畢的圖像理解數據；

(1-3)統計所有自然語言語句中出現5次以上的單詞，依次去重、排序后統計單詞總個數k，給予每個單詞唯一的序號，將所有自然語言語句轉變為序號序列，并用維度大小為k×1的列向量d表示所有單詞，列向量中對應單詞序號的位置置為1，其余置為0，將該列向量送入維度大小為k×512詞嵌入矩陣W_d中轉換成維度大小為512的向量，一個這樣的向量稱為詞向量x，x＝d^TW_d；該詞向量x作為循環神經網絡的輸入。

4.根據權利要求1所述的一種基于融合門循環網絡模型的圖像轉語言方法，其特征在于：所述步驟(2)中融合門循環網絡模型包括：輸入門、融合門和輸出門；所述輸入門作為所述融合門循環網絡模型的輸入通道；所述融合門用于合并后向量的循環迭代并產生隱藏狀態；所述輸出門包括中間輸出門和最終輸出門，所述中間輸出門用于控制每次迭代產生的隱藏狀態是否應用本時間步記憶細胞信息，所述最終輸出門用于輸出每次迭代產生的隱藏狀態相匹配的詞向量，該詞向量組成圖像轉化后的語言。

5.根據權利要求4所述的一種基于融合門循環網絡模型的圖像轉語言方法，其特征在于：所述融合門中設有監聽門，所述監聽門用于監測循環迭代過程中圖像輸出向量的使用比例。