[發明專利]多模態搜索方法、裝置、設備、存儲介質以及程序產品

在審

• 申請號: 202110942073.2
• 申請日: 2021-08-17
• 公開（公告）號: CN113656546A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 張馨;黃潔
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種多模態搜索方法，包括：

接收終端設備采集的至少兩種模態的搜索信息，其中，所述模態包括以下至少一種：文本、語音、視覺、手勢和觸控；

將所述至少兩種模態的搜索信息合成多模態搜索信息；

基于所述多模態搜索信息進行搜索，得到多模態搜索結果；

將所述多模態搜索結果發送給所述終端設備。

2.根據權利要求1所述的方法，其中，所述接收終端設備采集的至少兩種模態的搜索信息，包括：

接收所述終端設備的攝像頭采集的視覺圖像和所述終端設備的麥克風采集的語音音頻；以及

所述將所述至少兩種模態的搜索信息合成多模態搜索信息，包括：

通過視覺識別技術對所述視覺圖像進行識別，得到所述視覺圖像的視覺信息；

通過語音識別技術對所述語音音頻進行識別，得到所述語音音頻的文本信息；

將所述視覺信息和所述文本信息合成所述多模態搜索信息。

3.根據權利要求2所述的方法，其中，所述將所述視覺信息和所述文本信息合成所述多模態搜索信息，包括：

確定所述文本信息對應的意圖信息；

將所述意圖信息作用于所述視覺信息生成所述多模態搜索信息，或者將所述意圖信息與所述視覺信息合并生成所述多模態搜索信息。

4.根據權利要求1所述的方法，其中，所述接收終端設備采集的至少兩種模態的搜索信息，包括：

接收所述終端設備的攝像頭采集的視覺圖像和通過對所述終端設備操作采集的觸控操作數據或手勢操作數據；以及

所述將所述至少兩種模態的搜索信息合成多模態搜索信息，包括：

通過視覺識別技術對所述視覺圖像進行識別，得到所述視覺圖像的視覺信息；

確定所述觸控操作數據或所述手勢操作數據對應的指令信息；

將所述指令信息作用于所述視覺信息生成所述多模態搜索信息。

5.根據權利要求1所述的方法，其中，所述接收終端設備采集的至少兩種模態的搜索信息，包括：

接收所述終端設備的麥克風采集的語音音頻和通過對所述終端設備操作采集的觸控操作數據和手勢操作數據；以及

所述將所述至少兩種模態的搜索信息合成多模態搜索信息，包括：

通過語音識別技術對所述語音音頻進行識別，得到所述語音音頻的文本信息；

確定所述觸控操作數據或所述手勢操作數據對應的指令信息；

將所述文本信息和所述指令信息合成所述多模態搜索信息。

6.根據權利要求5所述的方法，其中，所述將所述文本信息和所述指令信息合成所述多模態搜索信息，包括：

確定所述文本信息對應的意圖信息；

將所述指令信息作用于所述意圖信息生成所述多模態搜索信息。

7.根據權利要求3或6所述的方法，其中，所述確定所述文本信息對應的意圖信息，包括：

將所述文本信息輸入至預先訓練的意圖模型，得到所述意圖信息。

8.根據權利要求7所述的方法，其中，所述意圖模型通過如下步驟進行訓練：

獲取訓練樣本，其中，所述訓練樣本包括樣本文本信息和樣本意圖類別；

將所述樣本文本信息作為輸入，將所述樣本意圖類別作為輸出，對分類模型進行訓練，得到所述意圖模型。

9.一種多模態搜索裝置，包括：

接收模塊，被配置成接收終端設備采集的至少兩種模態的搜索信息，其中，所述模態包括以下至少一種：文本、語音、視覺、手勢和觸控；

合成模塊，被配置成將所述至少兩種模態的搜索信息合成多模態搜索信息；

搜索模塊，被配置成基于所述多模態搜索信息進行搜索，得到多模態搜索結果；

發送模塊，被配置成將所述多模態搜索結果發送給所述終端設備。