[發明專利]多模態特征的融合方法、裝置、設備、介質及產品

在審

• 申請號: 202210151570.5
• 申請日: 2022-02-18
• 公開（公告）號: CN114663733A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 余威;王昆
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V30/19;G06V20/62;G06F16/29;G06N3/04;G06K9/62
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李英艷;楊繼成

本公開提供了一種多模態特征的融合方法、裝置、設備、介質及產品，涉及圖像處理技術領域，尤其涉及計算機視覺和深度學習技術領域。具體實現方案為：獲取同一圖像的多種模態特征；對所述多種模態特征中的每種模態特征進行編碼；采用多頭注意力機制，對編碼得到的所有編碼特征進行特征交叉融合，得到多個初始融合特征；將所述多個初始融合特征再次進行融合，得到目標融合特征。本公開采用多頭注意力機制對多種模態特征的編碼特征進行交叉融合，使各編碼特征間能夠進行充分的融合。并對交叉融合產生的多個初始融合特征進行再次融合，最終得到的目標融合特征能夠準確的描述圖像中的POI特征，進而提高召回率。

技術領域

本公開涉及圖像處理技術領域，尤其涉及計算機視覺和深度學習技術領域。

背景技術

在興趣點(Points Of Interest，POI)生產過程中，將同一招牌圖像的多模態特征進行融合，能夠提高召回率。但若采用相關技術中將多模態特征進行拼接以實現融合的方式進行融合，得到的融合特征不僅存在冗余信息，而且判別性低，反而導致召回率降低，無法在生產中應用。

發明內容

本公開提供了一種用于多模態特征的融合方法、裝置、設備、介質及產品。

根據本公開的一方面，提供了一種多模態特征的融合方法，包括：獲取同一圖像的多種模態特征；對所述多種模態特征中的每種模態特征進行編碼；采用多頭注意力機制，對編碼得到的所有編碼特征進行特征交叉融合，得到多個初始融合特征；將所述多個初始融合特征再次進行融合，得到目標融合特征。

根據本公開的另一方面，提供了一種多模態特征的融合裝置，包括：獲取單元，用于獲取同一圖像的多種模態特征；編碼單元，用于對所述多種模態特征中的每種模態特征進行編碼；第一融合單元，用于采用多頭注意力機制，對編碼得到的所有編碼特征進行特征交叉融合，得到多個初始融合特征；第二融合單元，用于將所述多個初始融合特征再次進行融合，得到目標融合特征。

根據本公開的又一方面，提供了一種電子設備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行所述的方法。

根據本公開的又一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行所述的方法。

根據本公開的又一方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現所述的方法。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本公開的限定。其中：

圖1是根據本公開實施例提供的自動化生產主要流程的示意圖；

圖2是根據本公開實施例提供的多模態特征的融合方法流程圖；

圖3是根據本公開實施例提供的進行多模態特征融合的框圖；

圖4是根據一示例性實施例示出的多模態特征的融合裝置框圖；

圖5是用來實現本公開實施例的多模態特征的融合方法的電子設備的框圖。

具體實施方式

以下結合附圖對本公開的示范性實施例做出說明，其中包括本公開實施例的各種細節以助于理解，應當將它們認為僅僅是示范性的。因此，本領域普通技術人員應當認識到，可以對這里描述的實施例做出各種改變和修改，而不會背離本公開的范圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結構的描述。