[發明專利]一種圖像描述方法及系統

在審

• 申請號: 201810537627.9
• 申請日: 2018-05-30
• 公開（公告）號: CN108898639A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 王紫嫣;劉罡
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06T9/00
• 分類號: G06T9/00
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 王戈

1.一種圖像描述方法，其特征在于，所述方法包括：

獲取訓練集，所述訓練集包括訓練圖片集以及對所述訓練圖片集中各訓練圖片進行描述的訓練文本；

根據所述訓練圖片集得到特征圖片訓練集；

確定注意力機制模型的注意權重；

根據所述特征圖片訓練集，通過所述注意權重，得到關鍵特征圖片訓練集；

以所述關鍵特征圖片訓練集以及所述訓練文本為長短時記憶模型的輸入，得到長短時記憶模型的輸出，所述長短時記憶模型的輸出為關鍵訓練文本；

根據所述關鍵訓練文本以及所述關鍵特征圖片訓練集，訓練神經網絡模型，得到解碼模型；

獲取測試集，所述測試集包括測試圖片集以及測試文本；

根據所述測試圖片集得到特征圖片測試集；

根據所述特征圖片測試集，通過所述注意權重，得到關鍵特征圖片測試集；

通過所述關鍵特征圖片測試集、所述測試文本以及所述長短時記憶模型，得到關鍵測試文本；

根據所述關鍵測試文本以及所述關鍵特征圖片訓練集，通過所述解碼模型，得到所述測試圖片集中各測試圖片的文本描述。

2.根據權利要求1所述的方法，其特征在于，所述根據所述訓練圖片集得到特征圖片訓練集，具體包括：

通過所述訓練圖片集訓練第一卷積神經網絡模型，得到訓練好的第一卷積神經網絡模型；

獲取所述訓練好的第一卷積神經網絡模型的輸出；所述訓練好的第一卷積神經網絡模型的輸出為初始特征圖片訓練集；

通過所述初始特征圖片訓練集訓練第二卷積神經網絡模型，得到訓練好的第二卷積神經網絡模型；

獲取所述訓練好的第二卷積神經網絡模型的輸出；所述訓練好的第二卷積神經網絡模型的輸出為特征圖片訓練集。

3.根據權利要求2所述的方法，其特征在于，所述獲取所述訓練好的第一卷積神經網絡模型的輸出，具體包括：

對各所述訓練圖片進行裁剪，得到裁剪后的訓練圖片；

通過所述卷積神經網絡模型提取各所述訓練圖片的初始特征，得到初始特征圖片訓練集。

4.根據權利要2所述的方法，其特征在于，所述獲取所述訓練好的第二卷積神經網絡模型的輸出，具體包括：

通過所述第二卷積神經網絡模型的卷積層對所述初始特征圖片訓練集中的各特征圖片進行卷積操作，得到卷積特征圖片訓練集；

將所述卷積特征圖片訓練集中的各卷積特征圖片調整為對應的各訓練圖片的大??；

將調整后的卷積特征圖片集與所述訓練圖片集進行拼接，得到特征圖片訓練集。

5.根據權利要1所述的方法，其特征在于，所述確定注意力機制模型的注意權重，具體包括：

將所述初始輸出以及迭代過程中所述長短時記憶模型的輸出作為特征訓練圖的權重，進而確定注意權重，從而得到描述中的對應單詞所需要對應的訓練關鍵特征子圖。

6.根據權利要1所述的方法，其特征在于，所述通過所述關鍵特征圖片測試集、所述測試文本以及所述長短時記憶模型，得到關鍵測試文本；具體包括：

將所述長短時記憶模型的輸出經過全連接操作并進行大小縮放以作為所述測試文本的權重，從而得到關鍵測試文本。

7.根據權利要4所述的方法，其特征在于，所述根據所述關鍵訓練文本以及所述關鍵特征圖片訓練集，訓練神經網絡模型，得到解碼模型，具體包括：

疊加所述關鍵特征圖片訓練集和所述關鍵訓練文本以及所述神經網絡模型的輸出，得到訓練疊加文本；

獲取所述訓練疊加文本與所述訓練文本的損失值；

通過所述損失值調整所述第二卷積神經網絡模型、所述注意力機制模型、所述長短時記憶模型以及所述神經網絡模型的參數，使所述訓練疊加文本與所述訓練文本的誤差在誤差閾值范圍內，得到解碼模型。