[發明專利]圖像描述信息的生成方法及其系統、電子設備及存儲介質

在審

• 申請號: 202210676387.7
• 申請日: 2022-06-15
• 公開（公告）號: CN115049877A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 高亦然
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/77;G06V10/26;G06V10/44;G06V10/56;G06V10/82;G06N3/04
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周春枚

本發明公開了一種圖像描述信息的生成方法及其系統、電子設備及存儲介質，涉及人工智能領域，其中，該生成方法包括：接收待處理圖像，并對待處理圖像進行分割，得到多張分割后的子圖像，基于子圖像以及每張子圖像對應的圖像序列信息，構建初始特征向量，向初始特征向量注入預設權重信息，得到權重特征向量，對權重特征向量進行解碼，生成候選信息序列，并解析候選信息序列，得到多個圖像描述信息，選取最高評估分值表征的圖像描述信息作為待處理圖像的目標圖像描述信息。本發明解決了相關技術中生成的圖像描述信息存在邏輯混亂以及情感分析容易出現歧義的技術問題。

技術領域

本發明涉及人工智能領域，具體而言，涉及一種圖像描述信息的生成方法及其系統、電子設備及存儲介質。

背景技術

隨著人工智能技術的快速發展，深度學習技術正在憑借結構復雜的神經網絡，以學習能力可隨著數據規模的增加而不斷提升其性能，以及可以直接從海量數據中提取特征等技術優勢，為各行各業提供智能創新場景，如圖像描述生成場景。

相關技術中，針對圖像描述生成這一任務，往往采用Encoder-Decoder模型(編碼器-解碼器模型)框架作為底層架構來構建描述生成模型。圖像描述生成任務分為Encoder和Decoder兩部分，即使用CNN(卷積神經網絡)網絡對輸入圖片進行解析、物體識別，并將圖像信息編碼，傳入Decoder解碼器中，解碼器內使用基于RNN(循環神經網絡)網絡(如，LSTM(長短時記憶神經網絡)、BiLSTM(雙向長短時記憶神經網絡)等神經網絡)的網絡模型對圖片編碼信息解碼，并生成對應的文字描述。

當前的圖像描述方法雖然可以將圖片內所含行為信息與物體信息表達出來，但具有如下缺陷：(1)情感分析歧義：由于大部分形容詞沒有極性，只有搭配名詞才會出現極性，因此，會存在邏輯歧義，例如，對于“大”這個形容詞，“屏幕大”則傾向為正面表述，但“噪音大”，卻傾向為負面表示；對于“高”這個形容詞，“性價比高”，則為正面表述，但“油價高”，則為負面表述等。(2)語義混亂、缺失：由于單張圖片缺少上下文信息參考，所以往往在生成圖片描述的時候會發生主次對象顛倒、動作歸屬錯誤的問題，例如，小馬騎人、天空在海洋里、人在馬肚子里行走等不符合邏輯的錯誤描述。

因此，亟需找到能夠解決由于圖像描述生成的文本邏輯混亂、翻譯語句不符合語言語法規則，導致生成的描述需要反復修改，造成效率低下、精準度低的問題的有效解決方案。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種圖像描述信息的生成方法及其系統、電子設備及存儲介質，以至少解決相關技術中生成的圖像描述信息存在邏輯混亂以及情感分析容易出現歧義的技術問題。

根據本發明實施例的一個方面，提供了一種圖像描述信息的生成方法，包括：接收待處理圖像，并對所述待處理圖像進行分割，得到多張分割后的子圖像；基于所述子圖像以及每張所述子圖像對應的圖像序列信息，構建初始特征向量；向所述初始特征向量注入預設權重信息，得到權重特征向量；對所述權重特征向量進行解碼，生成候選信息序列，并解析所述候選信息序列，得到多個圖像描述信息，其中，每個所述圖像描述信息對應有一個信息評估分值；選取最高評估分值表征的圖像描述信息作為所述待處理圖像的目標圖像描述信息。

可選地，在接收待處理圖像之后，還包括：獲取預設圖像信息，其中，所述預設圖像信息包括下述至少之一：顏色、邊界、灰度；基于所述預設圖像信息，對所述待處理圖像進行預處理。

可選地，對所述待處理圖像進行分割，得到多張分割后的子圖像的步驟，包括：對所述待處理圖像進行識別，得到目標信息，其中，所述目標信息包括下述至少之一：物體、場景；基于所述目標信息，對所述待處理圖像進行分割，得到多張分割后的所述子圖像。