[發明專利]一種基于神經網絡的圖像描述方法、系統、設備以及介質在審

申請號：	202010057651.X	申請日：	2020-01-19
公開（公告）號：	CN111291788A	公開（公告）日：	2020-06-16
發明（設計）人：	李磊	申請（專利權）人：	蘇州浪潮智能科技有限公司
主分類號：	G06K9/62	分類號：	G06K9/62;G06K9/46;G06N3/04
代理公司：	北京連和連知識產權代理有限公司 11278	代理人：	張濤
地址：	215100 江蘇省蘇州市吳***	國省代碼：	江蘇;32
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于神經網絡圖像描述方法系統設備以及介質
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種基于神經網絡的圖像描述方法，包括以下步驟：獲取待描述的圖像；利用第一卷積神經網絡和第二卷積神經網絡分別提取所述圖像中的物體的名稱信息以及所述物體之間的關系特征；確定所述關系特征和所述名稱信息之間的關系權重；利用所述關系權重以及所述名稱信息得到向量表達式；對所述向量表達式進行解碼處理以得到所述圖像的文字描述。本發明還公開了一種系統、計算機設備以及可讀存儲介質。本發明提出的方案通過兩個神經網絡分別提取物體的名稱信息以及物體之間的關系特征，這樣可以采用并行計算加速技術，相比于現有的方案，能夠通過擴展AI服務器訓練集群的規模來縮短模型開發周期，對于工業領域的落地具有很大的實用性。

技術領域

本發明涉及圖像識別領域，具體涉及一種基于神經網絡的圖像描述方法、系統、設備以及存儲介質。

背景技術

在計算機視覺領域，圖像場景描述是指，給計算機輸入一張圖片，它能夠根據圖片中的信息，自動生成文本來描述圖片中展示的場景內容。計算機不但要正確識別圖片中的物體，而且要根據它們之間的相互關系，與自然語言處理相結合，是一項非常有挑戰性的任務。

近年來，隨著深度學習技術在圖像識別和自然語言處理領域取得的突破，為上述任務的解決提供了可行的技術方案。CNN模型能夠對圖像中的物體進行有效識別，而RNN網絡模型在自然語言處理領域達到了較高的準確度。因此，目前有很多結合CNN和RNN實現圖像內容描述的方案。具體來講，通過將圖片輸入給CNN，計算生成圖像特征的矩陣序列，然后將該序列輸入RNN，生成文字描述。

但是以上方案在進行模型訓練時存在效率低的問題，這是由于上述模型中RNN的結構特點所導致的，無法充分發揮并行計算技術的能力，導致訓練速度很慢。

由于現有技術方案采用了循環神經網絡，而循環神經網絡計算過程在時間尺度上具有依賴關系，即T時刻計算所需的變量，有一部分來自于T-1時刻，T-1時刻的輸入又有一部分來自于T-2時刻，層層依賴，形成時間序列依賴關系，導致無法對整個模型運用并行加速技術。因此訓練這種類型的神經網絡模型會非常耗時。

發明內容

有鑒于此，為了克服上述問題的至少一個方面，本發明實施例提出一種基于神經網絡的圖像描述方法，包括以下步驟：

獲取待描述的圖像；

利用第一卷積神經網絡和第二卷積神經網絡分別提取所述圖像中的物體的名稱信息以及所述物體之間的關系特征；

確定所述關系特征和所述名稱信息之間的關系權重；

利用所述關系權重以及所述名稱信息得到向量表達式；

對所述向量表達式進行解碼處理以得到所述圖像的文字描述。

在一些實施例中，利用所述關系權重以及所述名稱信息得到向量表達式，進一步包括：

根據所述關系權重生成所述物體之間的關系向量，并對所述名稱信息進行詞嵌入處理，以得到對象向量；

將所述關系向量和所述對象向量進行乘積運算后得到所述向量表達式。