[發明專利]一種基于深度學習模型的圖像中文描述方法

有效

• 申請號: 201711385165.5
• 申請日: 2017-12-20
• 公開（公告）號: CN108009154B
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 王玉靜;呂世偉;謝金寶;殷楠楠;謝桂芬;李佰蔚
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/242;G06F16/583;G06N3/04
• 代理公司: 哈爾濱市偉晨專利代理事務所(普通合伙) 23209
• 代理人: 曹徐婷

本發明一種基于深度學習模型的圖像中文描述方法屬于計算機視覺與自然語言處理領域；包括準備ImageNet圖像數據集和AI Challenger圖像中文描述數據集；對ImageNet圖像數據集利用DCNN進行預訓練，得到DCNN預訓練模型；對AI Challenger圖像中文描述數據集進行圖像特征提取和圖像特征映射，傳輸到GRU門限遞歸網絡循環神經網絡；對AI Challenger圖像中文描述數據集中的AI Challenger圖像標注集進行詞編碼矩陣構建；利用NNLM提取詞嵌入特征，完成文本特征映射；GRU門限遞歸網絡循環神經網絡作為語言生成模型，完成圖像描述模型構建；中文描述語句生成；本發明彌補了圖像中文描述的空白，實現自動生成圖像中文描述的功能，并且在描述內容的準確性上有很好的改進，為中文NLP以及計算機視覺的發展奠定了基礎。

技術領域

本發明一種基于深度學習模型的圖像中文描述方法屬于計算機視覺與自然語言處理領域。

背景技術

伴隨著多媒體的發展以及互聯網規模的擴大，手機，平板等硬件設備的普及化，使得互聯網中的圖像資源呈現指數增長。這給用戶在互聯網中進行圖像檢索帶來很大的困難，而人為對這些圖像進行手工標注已經成為一件不可能的事，為了確保圖像可以被用戶在有限的時間內被準確的檢索出來，這需要使得機器可以自動理解圖像中的內容，并為圖像自動作上標注。進而方便用戶的檢索。

目前在圖像描述方面出現的方法都是基于圖像的英文文本描述，設計更符合中國國情的圖像中文語義化理解系統對當下而言是一件迫切的任務。中文的自然語言處理NLP不同于英文的自然語言處理，例如：在NLP領域，詞是最小的能夠獨立運用的語言單位，由于漢語的特殊性，中文為了能夠更好地進行后續NLP任務需要對中文文本進行分詞而英文不需要分詞，中文分詞也是英文和中文NLP的一個基本不同，中文在分詞任務中，會碰到兩種歧義現象：交叉歧義和組合歧義，解決分詞歧義的技術方法主要有三大類，分別是基于規則的方法，基于統計的方法，以及規則和統計結合。目前一些好的分詞器基于以上規則可以對中文分詞的兩種歧義現象進行改進。其次在目前出現的英文文本描述方法中，這些方法大都基于編解碼的規則，而這種方法的局限性在于對復雜的場景無法對圖像的內容進行準確而完整的英文描述。

發明內容

針對上述問題，本發明的目的在于提供一種基于深度學習模型的圖像中文描述方法。

本發明的目的是這樣實現的：

一種基于深度學習模型的圖像中文描述方法，包括以下步驟：

步驟a、準備ImageNet圖像數據集和AI Challenger圖像中文描述數據集；

步驟b、對ImageNet圖像數據集利用DCNN進行預訓練，得到DCNN預訓練模型；

步驟c、DCNN預訓練模型對AI Challenger圖像中文描述數據集進行圖像特征提取和圖像特征映射，傳輸至GRU門限遞歸網絡循環神經網絡；

步驟d、對AI Challenger圖像中文描述數據集中的AI Challenger圖像標注集進行詞編碼矩陣構建，包括文本預處理和分詞，建立詞典，在中文語句建立詞索引；

步驟e、利用NNLM提取詞嵌入特征，完成文本特征映射，傳輸至GRU門限遞歸網絡循環神經網絡；

步驟f、GRU門限遞歸網絡循環神經網絡作為語言生成模型，完成圖像描述模型構建；

步驟g、中文描述語句生成。

進一步地，所述一種基于深度學習模型的圖像中文描述方法，步驟b所述DCNN是深度卷積神經網絡，選取經典DCNN網絡模型AlexNet模型對ImageNet圖像數據集進行預訓練，得到網絡各層權重系數值即DCNN預訓練模型。

進一步地，所述一種基于深度學習模型的圖像中文描述方法，在步驟c中；