[發明專利]圖像相似度計算方法、計算裝置及存儲介質

有效

• 申請號: 201910706688.8
• 申請日: 2019-08-01
• 公開（公告）號: CN112308102B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 向宇;陳柯錦;彭守業
• 申請（專利權）人: 北京易真學思教育科技有限公司
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/80;G06K9/62
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本申請實施例提供一種圖像相似度計算方法、計算裝置及存儲介質，圖像相似度計算方法包括：將第一圖像和第二圖像分別輸入到特征提取網絡，特征提取網絡的每一層輸出對應于第一圖像的第一特征矩陣和對應于第二圖像的第二特征矩陣；將第一特征矩陣和第二特征矩陣進行差分，得到至少一個特征差分矩陣；將至少一個特征差分矩陣進行融合得到融合矩陣；根據融合矩陣計算第一圖像與第二圖像之間的相似度。通過將多層神經網絡和單層神經網絡進行結合并且利用圖像之間的差異信息，能夠使得圖像相似度的計算更加準確。

技術領域

本申請實施例涉及人工智能技術領域，尤其涉及一種圖像相似度計算方法、計算裝置及存儲介質。

背景技術

隨著人工智能技術的發展，基于神經網絡的圖像檢索技術應用越來越廣泛。圖像可以包含矢量圖形、視頻的圖像幀、圖片等。例如，在教學過程中，學生可以利用圖像檢索查找試題進行相關題目訓練，也可以學習其他解答方法；老師可以利用圖像檢索查找同一類型題目進行專題講解。但是，在實際應用過程中，尤其地，針對數學題目中的圖形，當學生或老師對數學題目進行檢索時，往往由于題目題干文字給出的關鍵信息太少而必須結合數學題目的圖形進行檢索，但是因為數學題目的圖形所包含的特征信息少，會導致相似度計算不準確而無法準確地進行檢索。

發明內容

有鑒于此，本發明實施例所解決的技術問題之一在于提供一種圖像相似度計算方法、計算裝置及存儲介質，用以克服現有技術中圖像相似度計算不夠準確的缺陷。

第一方面，本申請實施例提供了一種圖像相似度計算方法，包括：

將第一圖像和第二圖像分別輸入到特征提取網絡，特征提取網絡的每一層輸出對應于第一圖像的第一特征矩陣和對應于第二圖像的第二特征矩陣；將每一層輸出對應的第一特征矩陣和第二特征矩陣進行差分，得到多個特征差分矩陣；將多個特征差分矩陣進行融合得到融合矩陣；根據融合矩陣計算第一圖像與第二圖像之間的相似度。

可選地，在本申請的一個實施例中，將多個特征差分矩陣進行融合得到融合矩陣，包括：將多個特征差分矩陣進行加權求和，得到融合矩陣。

可選地，在本申請的一個實施例中，多個特征差分矩陣的權值之和為1，其中，權值通過指數形式來表示。

可選地，在本申請的一個實施例中，多個特征差分矩陣的權值的形式通過具有以下性質的函數來定義：首先在第一取值范圍為多個特征差分矩陣定義初始權值，然后通過一個函數將初始權值映射到(a,b)，同時保證所述一個函數在第一取值范圍單調遞增，其中，(a,b)可作為多個特征差分矩陣的權值范圍，并且0＜a＜b。

可選地，在本申請的一個實施例中，將多個特征差分矩陣進行融合得到融合矩陣，包括：對多個特征差分矩陣進行池化得到至少一個池化后的特征差分矩陣；將至少一個池化后的特征差分矩陣進行融合得到融合矩陣。

可選地，在本申請的一個實施例中，根據融合矩陣計算第一圖像與第二圖像之間的相似度，包括：將融合矩陣輸入到單層線性神經網絡或多層神經網絡，計算得到第一圖像與第二圖像之間的相似度。

可選地，在本申請的一個實施例中，根據融合矩陣計算第一圖像與第二圖像之間的相似度，包括：將融合矩陣輸入到激活函數計算得到輸出矩陣；根據輸出矩陣計算第一圖像與第二圖像之間的相似度。

第二方面，本申請實施例提供了一種圖像相似度計算裝置，包括：特征提取模塊、差分計算模塊、融合模塊以及相似度模塊；其中，特征提取模塊包括特征提取網絡，特征提取網絡分別接收第一圖像和第二圖像，并且特征提取網絡的每一層輸出對應于第一圖像的第一特征矩陣和對應于第二圖像的第二特征矩陣；差分計算模塊，用于將每一層輸出對應的第一特征矩陣和第二特征矩陣進行差分，得到多個特征差分矩陣；融合模塊，用于將多個特征差分矩陣進行融合得到融合矩陣；相似度模塊，用于根據融合矩陣計算第一圖像與第二圖像之間的相似度。