[發明專利]基于強化學習的對話式導診方法、裝置及存儲介質

在審

• 申請號: 202010853272.1
• 申請日: 2020-08-23
• 公開（公告）號: CN111951959A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 陳峰;申安盈
• 申請（專利權）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號: G16H50/20
• 分類號: G16H50/20;G06F16/33;G06F16/332;G06F16/35;G06F40/295;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了基于強化學習的對話式導診方法，包括：利用用戶編碼模塊記錄用戶在t時刻的輸入x_t，并通過卷積神經網絡學習到用戶輸入的編碼u_t；通過循環神經網絡，基于編碼u_t及上一時刻系統的隱藏狀態h_t?1，得到核心網絡模塊的輸出o_t及當前的隱藏狀態h_t，在分類預測模塊，輸出o_t通過全連接的前向網絡，輸出分類評定c_t；在提問策略模塊，基于輸出o_t，通過全連接的前向網絡得到預定義命名實體識NER類別上的概率分布q_t，基于累計的NER記錄表和提問模板，進行交互對話，在達到預定的T輪交互后，退出交互，并以最后一次c_t的結果作為最終的科室推薦結果。本發明可及時調整系統狀態，向用戶提供可靠的科室推薦結果，并保存收集到用戶關鍵信息，供下游應用調用。

技術領域

本發明書一個或多個實施例涉及醫療衛生技術領域，尤其涉及一種基于強化學習的對話式導診方法、裝置及存儲介質。

背景技術

本部分旨在為權利要求書中陳述的本發明的實施方式提供背景或上下文。此處的描述可包括可以探究的概念，但不一定是之前已經想到或者已經探究的概念。因此，除非在此指出，否則在本部分中描述的內容對于本申請的說明書和權利要求書而言不是現有技術，并且并不因為包括在本部分中就承認是現有技術。

傳統的問診模式都是去醫院進行詢問，這給多數的患者用戶帶來了很多不便，從而直接影響到患者的病情。隨著互聯網問診行業的迅速發展，基于疾病知識圖譜的智能導診分診系統在一定程度上向患者提供了就診前的決策支持，緩解了患者“知癥不知病、知病不知科”的現象。目前的智能導診多為對話式導診系統，傳統方法一般是基于規則定制的對話系統，通過模仿醫生和到訪者一問一答的形式收集指定的關鍵信息，并在合適的時機，為到訪者推薦一個或多個應該就診的科室。

但該傳統的方法，在對話狀態跳轉方面，靈活性不足，一旦對話系統遇到不在狀態跳轉流程之內的用戶答復，但其實又是一條對系統判斷科室類別有用的答復時，系統就顯得不是很靈活。也就是說，用戶必須要按照系統提問進行有效回答，否則系統就不能做出有效的推薦。

基于上述原因，亟需一種通過強化學習自動學習導診提問策略。

發明內容

本說明書一個或多個實施例描述了一種基于強化學習的對話式導診方法、裝置及存儲介質，可解決目前技術中存在的靈活性不足的問題。

本說明書一個或多個實施例提供的技術方案如下：

第一方面，本發明提供了基于強化學習的對話式導診方法，該方法包括：

利用用戶編碼模塊記錄用戶在t時刻的輸入x_t，并通過卷積神經網絡學習到用戶輸入的編碼u_t；

通過循環神經網絡，基于所述編碼u_t及上一時刻系統的隱藏狀態h_t-1，得到核心網絡模塊的輸出o_t及當前的隱藏狀態h_t，

在分類預測模塊，所述輸出o_t通過全連接網絡，輸出分類評定c_t；

在提問策略模塊，基于所述輸出o_t，通過全連接的前向網絡得到預定義命名實體識NER類別上的概率分布q_t，基于累計的所述NER記錄表和提問模板，進行交互對話，在達到預定的T輪交互后，退出交互，并以最后一次c_t的結果作為最終的科室推薦結果。

在一個可能實現的方式中，Dimension(c_t)＝n，n表示科室類別數目，用于訓練時計算損失，以及預測科室時的概率。