[發明專利]圖像描述生成方法及裝置、電子設備、可讀存儲介質

在審

• 申請號: 202210282638.3
• 申請日: 2022-03-22
• 公開（公告）號: CN114663650A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 舒暢;陳又新
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06F40/284
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 梁國平

本發明涉及人工智能技術，提供了一種圖像描述生成方法及裝置、電子設備、可讀存儲介質，方法包括：將獲取到的目標圖像輸入預訓練的圖像描述生成模型，以使得圖像描述生成模型針對目標圖像逐個確定待生成的圖像描述語句中的首個描述詞匯和非首個描述詞匯，生成圖像描述語句。本發明實施例中，通過預構建外部知識庫以優化先前文本對于當前狀態文本生成的指導效果以及圖像細節對于圖像描述生成的影響，能夠準確地獲取到每個候選詞匯的第二生成預測概率；通過結合外部知識庫的相關信息以及先前生成文本共同進行當前時刻生成詞的預測，使生成的描述詞匯更具有邏輯性同時包含歷史圖像描述信息，能夠提高生成目標圖像的圖像描述語句的整體精確度。

技術領域

本發明實施例涉及但不限于圖像處理技術領域，尤其涉及一種圖像描述生成方法、圖像描述生成裝置、電子設備及計算機可讀存儲介質。

背景技術

在自然語言處理(Natural Language Processing,NLP)領域和計算機視覺(Computer Vision,CV)領域中，圖像描述生成(Image Caption)作為結合CV領域和NLP領域的綜合研究方向，已取得很多進展以及應用。圖像描述生成問題的解決方法可以基于傳統的編碼-解碼(Encoder-Decoder)模型解決，但隨著應用場景的不斷演進，該方式已逐漸無法滿足應用需求，因此當前引入一些新的機制添加到上述解決方式中以實現應用場景拓展，例如，通過引入目標檢測模型獲取圖像中的更多局部信息以及區域信息，可以讓生成的圖像描述包含更多圖像細節，彌補Encoder-Decoder模型過多關注局部明顯特征的缺點，但是引入的目標檢測模型只關注于當前圖像的區域特征，并未考慮到Encoder-Decoder模型的整體圖像描述影響，因此最終生成的圖像描述文本的準確度不高。

發明內容

以下是對本文詳細描述的主題的概述。本概述并非是為了限制權利要求的保護范圍。

本發明實施例提供了一種圖像描述生成方法、圖像描述生成裝置、電子設備及計算機可讀存儲介質，能夠提高生成目標圖像的圖像描述語句的精確度。

第一方面，本發明實施例提供了一種圖像描述生成方法，包括：

將獲取到的目標圖像輸入預訓練的圖像描述生成模型，以使得所述圖像描述生成模型針對所述目標圖像逐個確定待生成的圖像描述語句中的每個描述詞匯，生成所述圖像描述語句；其中，所述圖像描述語句包括首個描述詞匯和非首個描述詞匯；

基于所述目標圖像的圖像特征確定所述首個描述詞匯；

確定與當前待確定的非首個描述詞匯對應的多個候選詞匯，確定每個所述候選詞匯的第一生成預測概率和第二生成預測概率，根據每個所述候選詞匯的第一生成預測概率和第二生成預測概率，從所述多個候選詞匯中確定所述非首個描述詞匯；其中，

所述第一生成預測概率基于所述候選詞匯與當前已生成語句的第一相關程度確定，所述當前已生成語句根據已確定的所有描述詞匯生成；

所述第二生成預測概率基于所述候選詞匯與預構建的外部知識庫中的各個鍵值對的第二相關程度確定，所述鍵值對基于第一鍵值對和第二鍵值對確定，所述第一鍵值對用于表征歷史圖像特征與歷史圖像描述語句之間的對應關系，所述第二鍵值對用于表征區域圖像特征與圖像描述類別詞匯之間的對應關系。