[發明專利]一種基于深度強化學習的問診方法及系統

在審

• 申請號: 202210157860.0
• 申請日: 2022-02-21
• 公開（公告）號: CN114613489A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 湯步洲;黃孝煒
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: G16H50/20
• 分類號: G16H50/20;G06F16/332;G06F16/35;G06F40/242;G06N20/00
• 代理公司: 深圳市添源創鑫知識產權代理有限公司 44855
• 代理人: 覃迎峰

1.一種基于深度強化學習的問診方法，其特征在于：其包括：

根據患者自訴及歷史問診數據提取到癥狀文本，并根據預設的標準癥狀詞典進行歸一化從而得到標準化癥狀文本，將其輸入問診模型中的癥狀問詢模塊，所述癥狀問詢模塊利用醫療知識庫，根據得到的標準化癥狀文本通過深度強化學習進行關聯推理，向患者進行下一步的癥狀詢問，用以得到更多癥狀信息；重復上述過程，直至診斷模型判定已得到了足夠的信息或無法從患者處得到更多信息時結束癥狀詢問并通過問診模型中的診斷模塊做出最終診斷；

其中，所述問診模型對問診對話的癥狀文本進行編碼并聚合得到癥狀文本集合表示；

根據癥狀文本集合表示，輸出在目前已知信息條件下的疾病預測概率分布，通過深度神經網絡架構對癥狀集合表示進行實時診斷預測；

所述問診模型基于歷史問診數據進行深度強化學習訓練，所述問診模型還包括癥狀問詢模塊和疾病診斷模塊，所述癥狀問詢模塊將問診過程視為序列決策問題進行建模，使用基于價值函數的無模型強化學習方法Q-Learning進行解決，所述疾病診斷模塊將實時診斷視為分類問題進行建模，使用梯度提升決策樹進行解決。

2.根據權利要求1所述的基于深度強化學習的問診方法，其特征在于：所述問診模型包括：基于上下文的文本表示模型將癥狀文本序列的每個字向其他字進行注意力交互，通過改良的Transformer編碼器對癥狀文本進行編碼獲得癥狀文本表示，通過拼接聚合或平均聚合將所有癥狀文本表示向量進行聚合，將各個癥狀信息融合得到整個癥狀集合的向量表示，通過注意力機制學習整個癥狀文本集合的表示。

3.根據權利要求2所述的基于深度強化學習的問診方法，其特征在于：所述問診模型采用如下方法進行訓練：

設計病人模擬器的輸入輸出規則，從問診記錄數據集中采樣得到當前病人記錄并與對話策略模型交互，得到模擬問診對話數據，對問診模型進行學習；

采用實時診斷概率分布對病人模擬器反饋的獎勵函數進行加權指導，提升模型對于候選癥狀的召回能力。

4.根據權利要求3所述的基于深度強化學習的問診方法，其特征在于：對所述癥狀文本集合，采用兩階段預訓練-微調方法，引入預訓練語料中學習的信息，并在目標數據集上進行二次預訓練，融入更多癥狀文本信息；

針對癥狀詢問，采用獎勵函數，在給定輪數下，實現最大化癥狀召回率；

所述獎勵函數為常數獎勵函數、歸一化獎勵函數、先驗條件概率獎勵函數或實時診斷獎勵函數；所述實時診斷獎勵函數為對疾病進行實時診斷，使用該次動作前后目標疾病上實時診斷概率之差進行加權。

5.基于深度強化學習的問診系統，其特征在于：其包括：

癥狀詢問模塊，根據患者自訴及歷史問診數據提取到癥狀文本，并根據預設的標準癥狀詞典進行歸一化從而得到標準化癥狀文本，將其輸入問診模型中的癥狀問詢模塊，所述癥狀問詢模塊利用醫療知識庫，根據得到的標準化癥狀文本通過深度強化學習進行關聯推理，向患者進行下一步的癥狀詢問，用以得到更多癥狀信息；重復上述過程，直至診斷模型判定已得到了足夠的信息或無法從患者處得到更多信息時結束癥狀詢問并通過問診模型中的診斷模塊做出最終診斷；

編碼模塊，對問診對話的癥狀文本進行編碼，然后通過聚合得到癥狀文本集合；

疾病診斷模塊，根據癥狀文本集合表示，輸出當前疾病概率分布，進行實時診斷預測；

神經網絡訓練模塊，所述問診模型基于歷史問診對話數據進行深度強化學習訓練，所述癥狀問詢模塊將問診過程視為序列決策問題進行建模，使用基于價值函數的無模型強化學習方法Q-Learning進行解決，所述疾病診斷模塊將實時診斷視為分類問題進行建模，使用梯度提升決策樹進行解決。

6.根據權利要求5所述的基于深度強化學習的問診系統，其特征在于：所述編碼模塊包括：

文本表示模塊，通過基于上下文的文本表示模型將癥狀文本序列的每個字向其他字進行注意力交互，通過改良的Transformer編碼端對癥狀文本進行編碼；

表示聚合模塊，通過獲得的癥狀文本表示，通過拼接聚合或平均聚合將所有癥狀文本表示向量進行聚合，將各個癥狀信息融合得到整個癥狀集合的表示，然后通過注意力機制學習整個癥狀文本集合的表示。