[發明專利]自動問答匹配方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202210419404.9
• 申請日: 2022-04-20
• 公開（公告）號: CN114780701A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 姚海申;孫行智
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06V10/26;G06V10/774;G06F40/284;G06F40/289;G06K9/62;G16H80/00;G16H50/20
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 劉暢

本申請實施例屬于人工智能領域，應用于醫療領域中，涉及一種自動問答匹配方法，包括獲取圖像數據、提問文本和參考文本，對圖像數據、提問文本和參考文本分別進行預處理，得到分割圖像、第一分詞文本和第二分詞文本；對分割圖像、第一分詞文本和第二分詞文本進行位置編碼、分割編碼和嵌入編碼，得到位置向量、分割向量和嵌入向量；對得到的向量進行向量拼接，得到融合表征向量，輸入融合表征向量至多模態模型計算，得到目標答復文本。本申請還提供一種自動問答匹配裝置、計算機設備及存儲介質。此外，目標答復文本可存儲于區塊鏈中。本申請實現了基于圖像和文本的自動問答，提高了問答的效率和準確率。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種自動問答匹配方法、裝置、計算機設備及存儲介質。

背景技術

近年來，隨著計算力和數據量的大幅度提升，人工智能技術獲得進一步的發展，應用人工智能解決醫療領域問題已成為了熱點。然而，在醫療領域中，在醫生對患者進行診斷時，往往需要人工地查看患者圖片進行判斷，其過程復雜，耗時長，最終導致醫療問診準確率低下的問題。

發明內容

本申請實施例的目的在于提出一種自動問答匹配方法、裝置、計算機設備及存儲介質，以解決問診準確率低下的技術問題。

為了解決上述技術問題，本申請實施例提供一種自動問答匹配方法，采用了如下所述的技術方案：

獲取圖像數據、提問文本和參考文本，對所述圖像數據、所述提問文本和所述參考文本分別進行預處理，得到分割圖像、第一分詞文本和第二分詞文本；

對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行位置編碼，得到位置向量，對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行分割編碼，得到分割向量，對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行嵌入編碼，得到嵌入向量；

對所述嵌入向量、所述位置向量和所述分割向量進行向量拼接，得到融合表征向量，獲取訓練好的多模態模型，輸入所述融合表征向量至所述多模態模型計算，得到所述提問文本對應的目標答復文本。

進一步的，所述對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行嵌入編碼，得到嵌入向量的步驟包括：

分別計算所述第一分詞文本和所述第二分詞文本的編碼信息，得到所述第一分詞文本對應的第一文本嵌入編碼，以及所述第二分詞文本對應的第二文本嵌入編碼；

獲取所述第一文本嵌入編碼或第二文本嵌入編碼的向量維度，根據所述向量維度將所述分割圖像映射至目標維度，得到圖像嵌入編碼；

對所述第一文本嵌入編碼、所述第二文本嵌入編碼和所述圖像嵌入編碼進行拼接，得到所述嵌入向量。

進一步的，所述對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行分割編碼，得到分割向量的步驟包括：

獲取所述分割圖像、所述第一分詞文本和所述第二分詞文本的角色標記；

按照預設順序對所述角色標記進行拼接及編碼，得到所述分割向量。

進一步的，所述獲取訓練好的多模態模型的步驟包括：

采集多組醫療問診數據，對所述醫療問診數據進行拆分得到訓練樣本；

輸入所述訓練樣本至基礎預測模型中，計算得到目標損失函數，根據所述目標損失函數對所述基礎預測模型訓練，在所述目標損失函數為最小值時，確定所述基礎預測模型訓練完成，得到所述多模態模型。

進一步的，所述輸入所述訓練樣本至基礎預測模型中，計算得到目標損失函數的步驟包括：

計算所述訓練樣本的文本掩碼損失、圖片損失以及預測損失，根據所述文本掩碼損失、所述圖片損失以及所述預測損失，生成所述目標損失函數。