[發明專利]圖像文本相似度檢測方法及裝置、終端

在審

• 申請號: 202310225120.0
• 申請日: 2023-03-09
• 公開（公告）號: CN116524514A
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 曹競存;韓韜;李曉琳;張玲玲
• 申請（專利權）人: 曹競存
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V30/18;G06V10/82;G06N3/0464;G06N3/08;G06N3/0442;G06N3/045
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張英英

一種圖像文本相似度檢測方法及裝置、終端，所述方法包括：確定多張待檢測圖像，以及與每張待檢測圖像對應的待檢測文本；確定該待檢測圖像的圖像數值向量，確定該待檢測文本的文本數值向量；采用對齊算法，對圖像數值向量和/或文本數值向量進行對齊處理，以使得圖像數值向量以及文本數值向量中包含的浮點數值的數量相等，且圖像數值向量和文本數值向量一一對應對齊；對以下一項或多項待優化項進行迭代，最小化預設的損失函數以確定優化后的待優化項：所述對齊算法、所述圖像特征提取算法以及所述文本特征提取算法；采用優化后的待優化項，確定所述圖像數值向量以及文本數值向量之間的相似度結果。本發明可以有效提高檢測的準確性。

技術領域

本發明涉及數字媒體技術領域，尤其涉及一種圖像文本相似度檢測方法及裝置、終端。

背景技術

隨著數字媒體技術的蓬勃發展，包括文本圖像在內的多媒體資源規模越來越大，自圖像識別文本或者自文本繪制圖像逐漸成為研究熱點，例如可以在對文本內容進行視覺呈現的基礎上，對文字內容進行圖像檢索，或者在對圖像內容進行文字識別的基礎上，對圖像內容進行文本檢索等。

然而在現有技術中，對于自圖像識別得到的文本，以及自文本繪制得到的圖像，尚缺乏對其轉換的準確性和有效性的判斷。換言之，采用現有的圖像文本相似度檢測技術得到的相似度判斷結果準確性較低。

需要一種圖像文本相似度檢測方法，能夠對圖像和文本之間的相似度進行檢測，并且有效提高檢測的準確性。

發明內容

本發明解決的技術問題是提供一種圖像文本相似度檢測方法及裝置、終端，可以有效提高檢測的準確性。

為解決上述技術問題，本發明實施例提供一種圖像文本相似度檢測方法，包括：確定多張待檢測圖像，以及與每張待檢測圖像對應的待檢測文本；采用圖像特征提取算法對每張待檢測圖像進行特征提取，以確定該待檢測圖像的圖像數值向量，所述圖像數值向量包含第一預設數量個浮點數值，以及采用文本特征提取算法對該待檢測圖像對應的待檢測文本進行特征提取，以確定該待檢測文本的文本數值向量，所述文本數值向量包含第二預設數量個浮點數值；采用對齊算法，對圖像數值向量和/或文本數值向量進行對齊處理，以使得圖像數值向量以及文本數值向量中包含的浮點數值的數量相等，且圖像數值向量和文本數值向量一一對應對齊；對以下一項或多項待優化項進行迭代，最小化預設的損失函數以確定優化后的待優化項：所述對齊算法、所述圖像特征提取算法以及所述文本特征提取算法；采用優化后的待優化項，確定所述圖像數值向量以及文本數值向量之間的相似度結果。

可選的，所述預設的損失函數是基于對齊后的各個待檢測圖像的圖像數值向量與對應的文本數值向量之間的相似度以及預設的目標相似度確定的。

可選的，采用下述公式，確定所述損失函數：

或者，

其中，L(Y',Y)用于表示損失函數，Y_i'用于表示對齊后的第i個待檢測圖像的圖像數值向量與對應的文本數值向量之間的相似度，Y_i用于表示預設的目標相似度，k用于表示待檢測圖像的數量，1≤i≤k，i、k均為正整數。

可選的，采用對齊算法，對圖像數值向量和/或文本數值向量進行對齊處理，包括：構建N×M神經網絡矩陣；采用待對齊處理的數值向量與所述神經網絡矩陣的乘積，作為被對齊處理的數值向量；其中，M用于表示所述待對齊處理的數值向量包含的浮點數值的數量，N用于表示所述被對齊處理的數值向量包含的浮點數值的數量。

可選的，所述待對齊處理的數值向量為所述圖像數值向量以及文本數值向量中的一個，所述被對齊處理的數值向量為所述圖像數值向量以及文本數值向量中的另一個。