[發明專利]圖像描述生成方法及裝置、電子設備、可讀存儲介質

在審

• 申請號: 202210282638.3
• 申請日: 2022-03-22
• 公開（公告）號: CN114663650A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 舒暢;陳又新
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06F40/284
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 梁國平

1.一種圖像描述生成方法，其特征在于，包括：

將獲取到的目標圖像輸入預訓練的圖像描述生成模型，以使得所述圖像描述生成模型針對所述目標圖像逐個確定待生成的圖像描述語句中的每個描述詞匯，生成所述圖像描述語句；其中，所述圖像描述語句包括首個描述詞匯和非首個描述詞匯；

基于所述目標圖像的圖像特征確定所述首個描述詞匯；

確定與當前待確定的非首個描述詞匯對應的多個候選詞匯，確定每個所述候選詞匯的第一生成預測概率和第二生成預測概率，根據每個所述候選詞匯的第一生成預測概率和第二生成預測概率，從所述多個候選詞匯中確定所述非首個描述詞匯；其中，所述第一生成預測概率基于所述候選詞匯與當前已生成語句的第一相關程度確定，所述當前已生成語句根據已確定的所有描述詞匯生成；所述第二生成預測概率基于所述候選詞匯與預構建的外部知識庫中的各個鍵值對的第二相關程度確定，所述鍵值對基于第一鍵值對和第二鍵值對確定，所述第一鍵值對用于表征歷史圖像特征與歷史圖像描述語句之間的對應關系，所述第二鍵值對用于表征區域圖像特征與圖像描述類別詞匯之間的對應關系。

2.根據權利要求1所述的圖像描述生成方法，其特征在于，所述第一鍵值對由以下步驟得到：

根據所述歷史圖像描述語句獲取歷史真實詞匯；

以所述歷史真實詞匯作為數據值、以所述歷史圖像特征作為查找所述歷史真實詞匯的關鍵字，得到所述第一鍵值對，其中，所述歷史圖像特征基于獲取到的歷史圖像確定。

3.根據權利要求2所述的圖像描述生成方法，其特征在于，所述第二鍵值對由以下步驟得到：

對所述區域圖像特征進行雙線性插值處理，得到區域特征向量，其中，所述區域圖像特征基于目標檢測模型提取得到；

以所述圖像描述類別詞匯作為數據值、以所述區域特征向量作為查找所述圖像描述類別詞匯的關鍵字，得到所述第二鍵值對。

4.根據權利要求1所述的圖像描述生成方法，其特征在于，所述確定每個所述候選詞匯的第二生成預測概率，包括：

對所述當前已生成語句進行文本映射處理，得到與所述當前已生成語句對應的請求向量；

計算所述請求向量與任一所述鍵值對之間的歐氏距離；

根據各個所述歐氏距離從多個所述鍵值對中，將所述歐氏距離最小的N個所述鍵值對作為目標鍵值對，N為大于1的整數；

根據各個所述目標鍵值對對應的所述歐氏距離，確定每個所述候選詞匯的第二生成預測概率。

5.根據權利要求4所述的圖像描述生成方法，其特征在于，所述根據各個所述目標鍵值對對應的所述歐氏距離，確定每個所述候選詞匯的第二生成預測概率，包括：

對于每個所述目標鍵值對，對與所述目標鍵值對相對應的所述歐氏距離進行指數映射處理，得到非負指數轉換值；

基于所述候選詞匯對所述非負指數轉換值進行歸一化處理，確定每個所述候選詞匯的第二生成預測概率。

6.根據權利要求1所述的圖像描述生成方法，其特征在于，所述根據每個所述候選詞匯的第一生成預測概率和第二生成預測概率，從所述多個候選詞匯中確定所述當前待確定詞匯對應的描述詞匯，包括：

對于每個所述候選詞匯，根據預設平衡權重對所述候選詞匯的第一生成預測概率和第二生成預測概率進行疊加，得到平衡權重輸出參數；

將各個所述候選詞匯的所述平衡權重輸出參數分別輸入到最大值自變量點集函數中，輸出與最大的所述平衡權重輸出參數對應的一個所述候選詞匯；

從所述多個候選詞匯中，確定與最大的所述平衡權重輸出參數對應的一個所述候選詞匯，為所述當前待確定詞匯對應的描述詞匯。

7.根據權利要求1所述的圖像描述生成方法，其特征在于，所述確定每個所述候選詞匯的第一生成預測概率，包括：

對于每個所述候選詞匯，對所述候選詞匯和所述當前已生成語句進行編碼處理，得到當前編碼信息；

基于條件概率模型對所述當前編碼信息進行解碼處理，確定所述候選詞匯的第一生成預測概率。