[發明專利]自動問答匹配方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202210419404.9
• 申請日: 2022-04-20
• 公開（公告）號: CN114780701A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 姚海申;孫行智
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06V10/26;G06V10/774;G06F40/284;G06F40/289;G06K9/62;G16H80/00;G16H50/20
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 劉暢

1.一種自動問答匹配方法，其特征在于，包括下述步驟：

獲取圖像數據、提問文本和參考文本，對所述圖像數據、所述提問文本和所述參考文本分別進行預處理，得到分割圖像、第一分詞文本和第二分詞文本；

對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行位置編碼，得到位置向量，對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行分割編碼，得到分割向量，對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行嵌入編碼，得到嵌入向量；

對所述嵌入向量、所述位置向量和所述分割向量進行向量拼接，得到融合表征向量，獲取訓練好的多模態模型，輸入所述融合表征向量至所述多模態模型計算，得到所述提問文本對應的目標答復文本。

2.根據權利要求1所述的自動問答匹配方法，其特征在于，所述對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行嵌入編碼，得到嵌入向量的步驟包括：

分別計算所述第一分詞文本和所述第二分詞文本的編碼信息，得到所述第一分詞文本對應的第一文本嵌入編碼，以及所述第二分詞文本對應的第二文本嵌入編碼；

獲取所述第一文本嵌入編碼或第二文本嵌入編碼的向量維度，根據所述向量維度將所述分割圖像映射至目標維度，得到圖像嵌入編碼；

對所述第一文本嵌入編碼、所述第二文本嵌入編碼和所述圖像嵌入編碼進行拼接，得到所述嵌入向量。

3.根據權利要求1所述的自動問答匹配方法，其特征在于，所述對所述分割圖像、所述第一分詞文本和所述第二分詞文本進行分割編碼，得到分割向量的步驟包括：

獲取所述分割圖像、所述第一分詞文本和所述第二分詞文本的角色標記；

按照預設順序對所述角色標記進行拼接及編碼，得到所述分割向量。

4.根據權利要求1所述的自動問答匹配方法，其特征在于，所述獲取訓練好的多模態模型的步驟包括：

采集多組醫療問診數據，對所述醫療問診數據進行拆分得到訓練樣本；

輸入所述訓練樣本至基礎預測模型中，計算得到目標損失函數，根據所述目標損失函數對所述基礎預測模型訓練，在所述目標損失函數為最小值時，確定所述基礎預測模型訓練完成，得到所述多模態模型。

5.根據權利要求4所述的自動問答匹配方法，其特征在于，所述輸入所述訓練樣本至基礎預測模型中，計算得到目標損失函數的步驟包括：

計算所述訓練樣本的文本掩碼損失、圖片損失以及預測損失，根據所述文本掩碼損失、所述圖片損失以及所述預測損失，生成所述目標損失函數。

6.根據權利要求4所述的自動問答匹配方法，其特征在于，所述采集多組醫療問診數據，對所述醫療問診數據進行拆分得到訓練樣本的步驟包括：

獲取所述醫療問診數據中的樣本類別，所述樣本類別包括圖片類別、提問類別和回答類別，根據所述圖片類別、所述提問類別和所述回答類別對所述醫療問診數據進行標記及拆分，得到多個樣本數據；

對所述樣本數據進行掩碼標記，得到掩碼預測樣本，分別對所述掩碼預測樣本進行位置編碼、分割編碼和嵌入編碼，得到第一編碼結果、第二編碼結果和第三編碼結果；

拼接所述第一編碼結果、所述第二編碼結果和所述第三編碼結果，得到所述訓練樣本。

7.根據權利要求6所述的自動問答匹配方法，其特征在于，所述對所述樣本數據進行掩碼標記，得到掩碼預測樣本的步驟包括：

獲取目標掩碼詞，確定所述樣本數據中圖片類別對應的數據中是否存在所述目標掩碼詞對應的目標圖片，以及所述樣本數據中提問類別和回答類別對應的數據中是否存在所述目標掩碼詞對應的目標文本；

在確定同時存在所述目標圖片和所述目標文本時，選取所述目標圖片或所述目標文本進行掩碼，得到所述掩碼預測樣本。