[發(fā)明專利]一種圖像理解的方法和裝置

有效

• 申請?zhí)枺?/td>: 201710353016.4
• 申請日: 2017-05-18
• 公開（公告）號: CN107194407B
• 公開（公告）日: 2020-04-07
• 發(fā)明（設計）人: 祁斌川;潘照明;戴朝約
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06N3/04
• 代理公司: 北京市中倫律師事務所 11410
• 代理人: 石寶忠

1.一種圖像理解的方法，包括：

采用第一卷積神經網絡模型對待理解的圖像進行處理，得到第一輸出值；

對所述第一輸出值進行處理得到第二輸出值；

根據(jù)所述第二輸出值對第二卷積神經網絡模型進行反卷積運算，得到目標關鍵詞，并將所述目標關鍵詞作為對所述待理解的圖像的描述；

其中，采用第一卷積神經網絡模型對待理解的圖像進行處理之前，所述方法還包括：

抓取訓練網頁中的樣本圖像和與各個樣本圖像對應的樣本文字；

根據(jù)抓取到的樣本圖像和樣本文字對所述第一卷積神經網絡模型和所述第二卷積神經網絡模型進行訓練。

2.如權利要求1所述的方法，根據(jù)抓取到的樣本圖像和樣本文字對所述第一卷積神經網絡模型進行訓練，包括：

采用包括經過1次優(yōu)化的權重值的第一卷積神經網絡模型對第2個樣本圖像進行處理，得到樣本圖像輸出值，并確定與所述第2個樣本圖像對應的樣本文字的目標樣本文字輸出值；

采用損失函數(shù)計算所述樣本圖像輸出值和所述目標樣本文字輸出值之間的誤差值；

并根據(jù)所述誤差值對經過1次優(yōu)化的權重值再進行優(yōu)化，得到第2次優(yōu)化的權重值；

返回采用包括經過2次優(yōu)化的權重值的第一卷積神經網絡模型對第3個樣本圖像進行處理，得到樣本圖像輸出值的步驟，直至權重值經過N次優(yōu)化。

3.如權利要求2所述的方法，所述經過1次優(yōu)化的權重值是采用如下方式得到的：

采用包括預設初始權重值的第一卷積神經網絡模型對第1個樣本圖像進行處理，得到樣本圖像輸出值，并確定與第1個樣本圖像對應的樣本文字的目標樣本文字輸出值；

采用損失函數(shù)計算所述樣本圖像輸出值和所述目標樣本文字輸出值之間的誤差值；

并根據(jù)所述誤差值對所述預設初始權重值進行優(yōu)化，得到經過1次優(yōu)化的權重值。

4.如權利要求1所述的方法，根據(jù)抓取到的樣本圖像和樣本文字對所述第二卷積神經網絡模型進行訓練，包括：

采用包括經過1次優(yōu)化的權重值的第二卷積神經網絡模型對第2個樣本文字進行處理，得到樣本文字輸出值，并確定與所述第2個樣本文字對應的樣本圖像的目標樣本圖像輸出值；

采用損失函數(shù)計算所述樣本文字輸出值和所述目標樣本圖像輸出值之間的誤差值；

并根據(jù)所述誤差值對經過1次優(yōu)化的權重值再進行優(yōu)化，得到經過2次優(yōu)化的權重值；

返回采用包括經過2次優(yōu)化的權重值的第二卷積神經網絡模型對第3個樣本文字進行處理，得到樣本文字輸出值的步驟，直至權重值經過N次優(yōu)化。

5.如權利要求4所述的方法，所述經過1次優(yōu)化的權重值是采用如下方式得到的：

采用包括預設初始權重值的第二卷積神經網絡模型對第1個樣本文字進行處理，得到樣本文字輸出值，并確定與所述第1個樣本文字對應的樣本圖像的目標樣本圖像輸出值；

采用損失函數(shù)計算所述樣本文字輸出值和所述目標樣本圖像輸出值之間的誤差值；

并根據(jù)所述誤差值對所述預設初始權重值進行優(yōu)化，得到經過1次優(yōu)化的權重值。

6.如權利要求1所述的方法，抓取訓練網頁中的樣本圖像和與各個樣本圖像對應的樣本文字之后，根據(jù)抓取到的樣本圖像和樣本文字對所述第一卷積神經網絡模型和所述第二卷積神經網絡模型進行訓練之前，所述方法還包括：

對抓取得到的多個樣本圖像進行尺度上的變換，使得各個樣本圖像達到相同的維度。

7.如權利要求1所述的方法，抓取訓練網頁中的樣本圖像和與各個樣本圖像對應的樣本文字之后，根據(jù)抓取到的樣本圖像和樣本文字對所述第一卷積神經網絡模型和所述第二卷積神經網絡模型進行訓練之前，所述方法還包括：

對抓取的樣本文字進行關鍵詞和符號提取，并對提取得到的關鍵詞和符號進行編碼。

8.如權利要求7所述的方法，對抓取的樣本文字進行關鍵詞提取，包括：

采用詞頻逆向文件頻率TF-IDF對抓取的樣本文字進行關鍵詞提??；

從提取得到的關鍵詞中篩選出關鍵詞，并對篩選出的關鍵詞的權重值進行歸一化處理。