[發明專利]基于多模態知識感知的醫療問答檢索方法、系統、裝置

有效

• 申請號: 201911103544.X
• 申請日: 2019-11-13
• 公開（公告）號: CN110895561B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 徐常勝;張瑩瑩;錢勝勝;方全
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F16/332
• 分類號: G06F16/332;G16H80/00
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于信息檢索與問答系統領域，具體涉及了一種基于多模態知識感知的醫療問答檢索方法、系統、裝置，旨在解決現有醫療問答系統無法理解檢索詞的內涵導致檢索準確率低的問題。本發明方法包括：構建多模態醫療知識圖譜，獲取用戶問題對應的備選答案集合；對問題與備選答案進行文本編碼，并提取問題與備選答案的實體；通過路徑編碼獲取問題實體到備選答案實體的路徑表示；通過醫療問答檢索模型獲取問題到各備選答案的交互表示；通過多層感知機分別獲取問題到各備選答案的匹配分數；最大匹配分數對應的備選答案為檢索答案。本發明有效地將知識圖譜語義信息應用到醫療問答中，構建問題與答案對之間的交互，提高了檢索得到的回答的精確度與準確性。

技術領域

本發明屬于信息檢索與問答系統領域，具體涉及了一種基于多模態知識感知的醫療問答檢索方法、系統、裝置。

背景技術

在醫療問答系統中，知識圖譜包含了潛在的問答對之間的交互。例如，當問題中提到醫療實體“膠樣癌”與“心臟”時，醫生首先想到疾病“心臟膠樣癌”，然后思考這種疾病的起因和治療方法。除此之外，與實體相關的圖片描述了該實體的外觀信息，并可以將實體之間的關系細粒化。如醫療知識圖譜中“膠樣癌”與“心臟膠樣癌”的關系為“疾病相關疾病”，而額外的圖像和文本信息則提供了兩者是以何種形式相關的。這種隱含的語義也可以豐富實體的表示。這些知識圖譜中的路徑顯式地告訴患者為什么醫生建議“手術移除”。這些觀察到的現象驅使我們將問題/回答映射到知識圖譜的實體，然后通過在知識圖譜中找到連接實體對的路徑，作為問答對之間的交互。知識圖譜中不同的路徑能反映醫療實體間不同的關系，但是其中一些路徑可能與問答的上下文不符合，也與醫生的推理邏輯不一致。問題和回答中會提到許多不同的實體，從而形成多個實體對。與此同時，同一個實體對之間也有可能有多條路徑將它們連接在一起。例如，在知識圖譜中，存在“痛→腫瘤→腫”與“痛→發炎→腫”兩種不同的路徑。雖然這兩個路徑包含的癥狀是一樣的，但卻與不同的疾病關聯。

總的來說，現有的醫療問答系統還存在諸多問題：首先，現有醫療問答系統需要關鍵詞的邏輯組合作為基礎才能檢索結果；其次，同一個檢索關鍵詞可能會返回大量的信息，用戶難以判斷信息的準確性，從而很難進行合理的信息篩選；最后，系統只針對檢索關鍵詞的語言表面信息，不涉及語言的內涵，返回信息的準確性低。

發明內容

為了解決現有技術中的上述問題，即現有醫療問答系統無法理解檢索詞的內涵導致檢索準確率低的問題，本發明提供了一種基于多模態知識感知的醫療問答檢索方法，該醫療問答檢索方法包括：

步驟S10，獲取用戶問題，并基于預先構建的多模態醫療知識圖譜，獲取所述用戶問題對應的備選答案集合；

步驟S20，對所述用戶問題以及所述備選答案集合中的每個備選答案進行文本編碼，獲取問題表示和備選答案表示的集合；

步驟S30，提取所述問題表示和備選答案表示的集合的問題實體、備選答案實體，得到問題實體和備選答案實體集合；

步驟S40，基于所述問題實體和備選答案實體集合，分別對問題實體到各備選答案實體進行路徑編碼，得到問題實體到各備選答案實體的路徑表示集合；

步驟S50，基于所述問題實體到各備選答案實體的路徑表示集合，通過醫療問答檢索模型獲取問題到各備選答案的交互表示；所述醫療問答檢索模型基于注意力機制構建，用于對問題到備選答案的路徑表示集合中的各條路徑表示加權，獲取問題到各備選答案的交互表示；

步驟S60，基于所述問題到各備選答案的交互表示，通過預設第一函數分別獲取問題到各備選答案的匹配分數，所述最大匹配分數對應的備選答案為用戶問題對應的檢索答案。

在一些優選的實施例中，所述多模態醫療知識圖譜基于中文癥狀庫、圖片庫構建，其構建方法為：

步驟T10，提取所述中文癥狀庫中的實體，并分別從所述圖片庫中獲取各實體對應的圖像集合；