[發明專利]圖片問答方法及裝置

有效

• 申請號: 201711308733.1
• 申請日: 2017-12-11
• 公開（公告）號: CN108021897B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 楊松
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 曾堯

本公開是關于一種圖片問答方法及裝置，包括接收圖片和與所述圖片相關的問題；通過CNN提取所述圖片的圖像特征向量；通過第一RNN提取所述問題的編碼特征向量；將所述圖像特征向量和所述編碼特征向量進行拼接，得到聯合特征向量；通過解碼神經網絡對所述聯合特征向量進行解碼，生成所述問題的答案；其中，所述CNN、第一RNN和解碼神經網絡是在三者作為整體網絡的情況下，以端到端的方式訓練得到的神經網絡。根據本公開實施例的圖片問答方法及裝置能夠生成與圖片相關的問題的答案，且各步驟采用的CNN、第一RNN和解碼神經網絡是在三者作為一個整體的情況下，進行端到端的訓練下得到的，消除了累計誤差，提高了問答的準確率。

技術領域

本公開涉及信息處理技術領域，尤其涉及圖片問答方法及裝置。

背景技術

隨著信息處理技術的發展，智能問答技術受到越來越多的關注，智能問答系統可以以一問一答的形式自動回答用戶提出的問題。例如，針對圖片的問答系統，就是向該問答系統提供一個圖片和針對該圖片的問題，智能問答系統可以自動的回答該問題。這樣可以幫助視覺障礙者了解世界。相關技術中，智能問答系統提供的答案的準確率較低。

發明內容

為克服相關技術中存在的問題，本公開提供一種圖片問答方法及裝置，能夠針對圖片的問題，提供較為準確的答案。

根據本公開實施例的第一方面，提供一種圖片問答方法，包括：接收圖片和與所述圖片相關的問題；通過CNN提取所述圖片的圖像特征向量；通過第一循RNN提取所述問題的編碼特征向量；將所述圖像特征向量和所述編碼特征向量進行拼接，得到聯合特征向量；通過解碼神經網絡對所述聯合特征向量進行解碼，生成所述問題的答案；其中，所述CNN、第一RNN和解碼神經網絡是在三者作為整體網絡的情況下，以端到端的方式訓練得到的神經網絡。

在一種可能的實現方式中，通過CNN提取所述圖片的圖像特征向量包括：將接收到的圖片縮放到固定尺寸，得到標準圖像；將所述標準圖像輸入CNN中；將所述CNN的輸出結果，確定為所述圖片的圖像特征向量。

在一種可能的實現方式中，通過第一RNN提取所述問題的編碼特征向量包括：將所述問題進行分詞，得到所述問題對應的詞嵌入序列；將所述詞嵌入序列輸入所述第一RNN中；將所述第一RNN的輸出結果，確定為所述問題的編碼特征向量。

在一種可能的實現方式中，所述解碼神經網絡為多層神經網絡MLP，通過解碼神經網絡對所述聯合特征向量進行解碼，生成所述問題的答案包括：將所述聯合特征向量輸入MLP網絡，得到特征集；使用分類器對所述特征集進行分類，得到所述特征集的類別；將所述特征集的類別，確定為所述問題的答案。

在一種可能的實現方式中，所述解碼神經網絡為RNN網絡，通過解碼神經網絡對所述聯合特征向量進行解碼，生成所述問題的答案包括：將所述聯合特征向量輸入第二RNN中；將所述第二RNN的輸出結果確定為所述問題的答案。

根據本公開實施例的第二方面，提供一種圖片問答裝置，包括：接收模塊，用于接收圖片和與所述圖片相關的問題；第一提取模塊，用于通過卷積神經網絡CNN提取所述圖片的圖像特征向量；第二提取模塊，用于通過第一循環神經網絡RNN提取所述問題的編碼特征向量；拼接模塊，用于將所述圖像特征向量和所述編碼特征向量進行拼接，得到聯合特征向量；生成模塊，用于通過解碼神經網絡對所述聯合特征向量進行解碼，生成所述問題的答案；其中，所述CNN、第一RNN和解碼神經網絡是在三者作為整體網絡的情況下，以端到端的方式訓練得到的神經網絡。

在一種可能的實現方式中，第一提取模塊包括：縮放子模塊，用于將接收到的圖片縮放到固定尺寸，得到標準圖像；圖像輸入子模塊，用于將所述標準圖像輸入CNN中；第一確定子模塊，用于將所述CNN的輸出結果，確定為所述圖片的圖像特征向量。