[發明專利]一種圖像理解的方法和裝置

有效

• 申請號: 201710353016.4
• 申請日: 2017-05-18
• 公開（公告）號: CN107194407B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 祁斌川;潘照明;戴朝約
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06N3/04
• 代理公司: 北京市中倫律師事務所 11410
• 代理人: 石寶忠

在本發明實施例中，提出一種圖像理解的方法，包括：采用第一卷積神經網絡模型對待理解的圖像進行處理，得到第一輸出值；對所述第一輸出值進行處理得到第二輸出值；根據所述第二輸出值對第二卷積神經網絡模型進行反卷積運算，得到目標關鍵詞，并將所述目標關鍵詞作為對所述待理解的圖像的描述；在該方案中，采用卷積神經網絡模型對待理解的圖像進行理解，不再是采用分類的方法來進行圖像理解，因此，可以提高圖像理解的準確度，并降低了人力資源的耗費。

技術領域

本發明的實施方式涉及圖像理解領域，更具體地，本發明的實施方式涉及一種圖像理解的方法和裝置。

背景技術

本部分旨在為權利要求書中陳述的本發明的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

目前對于圖像理解的實現方式一般都是通過在人工設定的類別范圍內訓練分類器，以判別圖像中是否包含特定的對象。當下，圖像分類的方法就集中在深度網絡上面了。

比較典型的例子就是ImageNet，它是目前世界上人工標注的最大的圖像識別數據庫，目前許多著名的深度學習網絡，比如AlexNet，GoogleNet，VGGNet都是在這個圖片數據庫中1000個類別上訓練出來的，相比于傳統的分類器，在分類的準確率上取得了突破性的進展。

由于上述只是圖像分類的方法，而分類只是在有限的類別內區分圖像的歸屬，圖像理解是建立在充分的知識儲備基礎上的，它描述的是圖像的深層含義，如果采用圖像分類的方法來理解圖像的話，存在準確度較低的缺陷。

同時，現有的圖像分類存在如下缺陷，例如：

1.機器學習的結果的優劣很大程度上取決于數據的數量和質量，這意味數據的準備需要進行大量的人工標注工作。標注的質量，即使在預先設定的有限類別內，準確性也是因人而異的，會隨著標注者的不同而發生變化。典型的如人臉標注，不同人判斷兩幅圖片中的人是否是同一個人時，往往存在 一定的差異；

2.把圖像理解轉換為解決特定的有限類別的分類，使得訓練出來的模型僅僅適用于有限類別的分類。比如，人臉識別的模型就難以去識別大猩猩的臉，即使他們很像，因此，在不同的應用場景必須訓練不同的網絡模型，這樣，存在人力資源耗費較大的缺陷；

3.有限數據集合上訓練的網絡模型，往往只在該類型數據上有效。雖然可以進行一定的遷移學習，但是訓練集基本決定了網絡模型的使用范圍。

發明內容

因此，現有技術存在準確度較低和人力資源耗費較大的缺陷，這是非常令人煩惱的過程。

為此，非常需要一種改進的圖像理解的方法，以使解決現有技術中存在的準確度較低、人力資源耗費較大的缺陷。

在本上下文中，本發明的實施方式期望提供一種新的圖像理解的方法和裝置。

在本發明實施方式的第一方面中，提供了一種圖像理解的方法，包括：

采用第一卷積神經網絡模型對待理解的圖像進行處理，得到第一輸出值；

對所述第一輸出值進行處理得到第二輸出值；

根據所述第二輸出值對第二卷積神經網絡模型進行反卷積運算，得到目標關鍵詞，并將所述目標關鍵詞作為對所述待理解的圖像的描述。

在一個實施方式中，根據本發明的上述實施方式所述的方法，采用第一卷積神經網絡模型對待理解的圖像進行處理之前，所述方法還包括：

抓取訓練網頁中的樣本圖像和與各個樣本圖像對應的樣本文字；

根據抓取到的樣本圖像和樣本文字對所述第一卷積神經網絡模型和所述第二卷積神經網絡模型進行訓練。