[發明專利]計算圖文相似度的方法、裝置、電子設備和可讀存儲介質

有效

• 申請號: 202010323722.6
• 申請日: 2020-04-22
• 公開（公告）號: CN111666969B
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 于菲;尹維沖;唐霽霽;孫宇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 田宏賓

本申請公開了一種計算圖文相似度的方法、裝置、電子設備和可讀存儲介質，涉及自然語言處理技術領域。本申請在計算圖文相似度時所采用的實現方案為：獲取待處理的圖片以及文本；獲取所述圖片包含的圖片實體以及圖片實體關系，并獲取所述文本包含的詞語實體以及詞語實體關系；通過所述圖片實體關系以及所述詞語實體關系，分別確定圖片參考文本的第一關系相似度以及文本參考圖片的第二關系相似度；通過所述圖片實體以及所述詞語實體，分別確定圖片參考文本的第一實體相似度以及文本參考圖片的第二實體相似度；利用所述第一關系相似度、第二關系相似度、第一實體相似度以及第二實體相似度，得到圖文相似度。本申請能夠提升圖文相似度的計算準確性。

技術領域

本申請涉及互聯網技術領域，尤其涉及自然語言處理技術領域中的一種計算圖文相似度的方法、裝置、電子設備和可讀存儲介質。

背景技術

隨著互聯網技術的快速發展，網絡搜索引擎給用戶提供了更為豐富的檢索功能，例如用戶可以輸入一張圖片來檢索該圖片的描述文本，或者輸入一段文本來檢索該文本所描述的圖片。而為了能夠確保向用戶返回更為準確的檢索結果，則需要對圖片以及文本之間的相似度進行計算。

現有技術在進行圖文相似度的計算時，通常是根據圖片中包含的圖片實體以及文本中包含的詞語實體來實現圖文之間的匹配。但是僅通過對齊實體的方式來進行圖文匹配，則會導致計算得到的圖文相似度的準確性較低，從而影響用戶的檢索體驗。

發明內容

本申請為解決技術問題所采用的技術方案是提供一種計算圖文相似度的方法，所述方法包括：獲取待處理的圖片以及文本；獲取所述圖片包含的圖片實體以及圖片實體關系，并獲取所述文本包含的詞語實體以及詞語實體關系；通過所述圖片實體關系以及所述詞語實體關系，分別確定圖片參考文本的第一關系相似度以及文本參考圖片的第二關系相似度；通過所述圖片實體以及所述詞語實體，分別確定圖片參考文本的第一實體相似度以及文本參考圖片的第二實體相似度；利用所述第一關系相似度、第二關系相似度、第一實體相似度以及第二實體相似度，得到圖文相似度。本申請除了進行實體與詞語之間的對齊之外，還進行實體關系與詞語關系之間的對齊，能夠更加充分地進行圖片與文本的交互，從而提升圖文相似度的計算準確性。

本申請為解決現有技術問題所采用的技術方案是提供一種計算圖文相似度的裝置，包括：獲取單元，用于獲取待處理的圖片以及文本；處理單元，用于獲取所述圖片包含的圖片實體以及圖片實體關系，并獲取所述文本包含的詞語實體以及詞語實體關系；第一計算單元，用于通過所述圖片實體關系以及所述詞語實體關系，分別確定圖片參考文本的第一關系相似度以及文本參考圖片的第二關系相似度；第二計算單元，用于通過所述圖片實體以及所述詞語實體，分別確定圖片參考文本的第一實體相似度以及文本參考圖片的第二實體相似度；確定單元，用于利用所述第一關系相似度、第二關系相似度、第一實體相似度以及第二實體相似度，得到圖文相似度。

一種電子設備，其特征在于，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行上述方法。

一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其特征在于，所述計算機指令用于使所述計算機執行上述方法。

一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現上述方法。

上述申請中的一個實施例具有如下優點或有益效果：本申請能夠更加充分地進行圖片與文本的交互，提升圖文相似度的計算準確性。因為采用了同時對圖片以及文本中的實體關系以及實體進行對齊的方式來計算圖文相似度的技術手段，所以克服了現有技術中僅通過對齊實體來計算圖文相似度所導致的計算準確性較低的技術問題，從而更加充分地進行圖片與文本的交互，實現提升圖文相似度的計算準確性技術效果。

上述可選方式所具有的其他效果將在下文中結合具體實施例加以說明。

附圖說明