[發明專利]一種基于神經網絡的圖像描述方法、系統、設備以及介質

在審

• 申請號: 202010057651.X
• 申請日: 2020-01-19
• 公開（公告）號: CN111291788A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 李磊
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤

1.一種基于神經網絡的圖像描述方法，其特征在于，包括以下步驟：

獲取待描述的圖像；

利用第一卷積神經網絡和第二卷積神經網絡分別提取所述圖像中的物體的名稱信息以及所述物體之間的關系特征；

確定所述關系特征和所述名稱信息之間的關系權重；

利用所述關系權重以及所述名稱信息得到向量表達式；

對所述向量表達式進行解碼處理以得到所述圖像的文字描述。

2.如權利要求1所述的方法，其特征在于，利用所述關系權重以及所述名稱信息得到向量表達式，進一步包括：

根據所述關系權重生成所述物體之間的關系向量，并對所述名稱信息進行詞嵌入處理，以得到對象向量；

將所述關系向量和所述對象向量進行乘積運算后得到所述向量表達式。

3.如權利要求2所述的方法，其特征在于，對所述名稱信息進行詞嵌入處理，以得到對象向量，進一步包括：

將每一個所述物體的名稱信息按照標簽詞典編碼為One-Hot值；

利用全連接層將所述One-Hot值映射成長度為512的所述對象向量。

4.如權利要求1所述的方法，其特征在于，對所述向量表達式進行解碼處理以得到所述圖像的文字描述，進一步包括：

對所述向量表達式進行預設次數的多頭注意力和正則化處理；

將經過處理后的所述向量表達式映射為目標單詞的概率分布；

將概率值最大的目標單詞確定為輸出值；

利用多個輸出值組成所述文字描述。

5.一種基于神經網絡的圖像描述系統，其特征在于，包括：

獲取模塊，所述獲取模塊配置為獲取待描述的圖像；

提取模塊，所述提取模塊配置為利用第一卷積神經網絡和第二卷積神經網絡分別提取所述圖像中的物體的名稱信息以及所述物體之間的關系特征；

關系權重模塊，所述關系權重模塊配置為確定所述關系特征和所述名稱信息之間的關系權重；

向量表達模塊，所述向量表達模塊配置為利用所述關系權重以及所述名稱信息得到向量表達式；

解碼模塊，所述解碼模塊配置為對所述向量表達式進行解碼處理以得到所述圖像的文字描述。

6.如權利要求5所述的系統，其特征在于，所述向量表達模塊還配置為：

根據所述關系權重生成所述物體之間的關系向量，并對所述名稱信息進行詞嵌入處理，以得到對象向量；

將所述關系向量和所述對象向量進行乘積運算后得到所述向量表達式。

7.如權利要求6所述的系統，其特征在于，所述向量表達模塊還配置為：

將每一個所述物體的名稱信息按照標簽詞典編碼為One-Hot值；

利用全連接層將所述One-Hot值映射成長度為512的所述對象向量。

8.如權利要求5所述的系統，其特征在于，所述解碼模塊還配置為：

對所述向量表達式進行預設次數的多頭注意力和正則化處理；

將經過處理后的所述向量表達式映射為目標單詞的概率分布；

將概率值最大的目標單詞確定為輸出值；

利用多個輸出值組成所述文字描述。

9.一種計算機設備，包括：

至少一個處理器；以及

存儲器，所述存儲器存儲有可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時執行如權利要求1-4任意一項所述的方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時執行如權利要求1-4任意一項所述的方法的步驟。