[發(fā)明專利]麻醉數(shù)據(jù)處理方法、系統(tǒng)、介質(zhì)、設(shè)備及信息處理終端

在審

• 申請(qǐng)?zhí)枺?/td>: 202210975523.2
• 申請(qǐng)日: 2022-08-15
• 公開（公告）號(hào): CN115346680A
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 高峻嘉;朱遙遙;蔡秀定;苗棟;張良;王迎凱
• 申請(qǐng)（專利權(quán)）人: 中科院成都信息技術(shù)股份有限公司
• 主分類號(hào): G16H50/70
• 分類號(hào): G16H50/70;G16H10/20;G06K9/62;G06N20/00
• 代理公司: 成都知棋知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51325
• 代理人: 馬曉靜

1.一種麻醉數(shù)據(jù)處理方法，其特征在于，所述麻醉數(shù)據(jù)處理方法包括：通過收集大量臨床麻醉手術(shù)數(shù)據(jù)作為經(jīng)驗(yàn)池，為Q函數(shù)估計(jì)添加正則項(xiàng)；使用深度離線強(qiáng)化學(xué)習(xí)算法學(xué)習(xí)智能麻醉靶控輸注策略，實(shí)現(xiàn)麻醉數(shù)據(jù)處理。

2.如權(quán)利要求1所述的麻醉數(shù)據(jù)處理方法，其特征在于，所述麻醉數(shù)據(jù)處理方法包括以下步驟：

步驟一，獲取臨床真實(shí)麻醉手術(shù)數(shù)據(jù)，構(gòu)建離線臨床麻醉數(shù)據(jù)集；數(shù)據(jù)篩選和數(shù)據(jù)清洗，并將數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

步驟二，基于離線臨床麻醉數(shù)據(jù)集的訓(xùn)練集，使用離線強(qiáng)化學(xué)習(xí)算法訓(xùn)練麻醉輸注策略；

步驟三，在訓(xùn)練完成后，在測試集上進(jìn)行測試；收集新的臨床真實(shí)麻醉手術(shù)數(shù)據(jù)，加入離線臨床麻醉數(shù)據(jù)集；

步驟四，迭代執(zhí)行收集數(shù)據(jù)、模型訓(xùn)練和策略驗(yàn)證過程，直到測試結(jié)果符合人類專家水平。

3.如權(quán)利要求2所述的麻醉數(shù)據(jù)處理方法，其特征在于，所述步驟一中的臨床真實(shí)麻醉手術(shù)數(shù)據(jù)包括各個(gè)時(shí)刻的觀測狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)信息，所述觀測狀態(tài)包括患者生命體征，所述動(dòng)作包括麻醉用藥量。

4.如權(quán)利要求2所述的麻醉數(shù)據(jù)處理方法，其特征在于，所述步驟一中的離線臨床麻醉數(shù)據(jù)集的構(gòu)建包括：

(1)觀測狀態(tài)：包括性別、年齡、身高、體重、血型、ASA手術(shù)分級(jí)、前一時(shí)刻平均動(dòng)脈壓、目標(biāo)平均動(dòng)脈壓、平均動(dòng)脈壓誤差、平均動(dòng)脈壓變化以及當(dāng)前時(shí)刻平均動(dòng)脈壓；

(2)動(dòng)作：每一時(shí)刻麻醉的用藥量，用藥信息為丙泊酚注射液50mL：500mg，其中每一時(shí)刻的間隔為一分鐘；

(3)獎(jiǎng)勵(lì)信息：獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)如下：

獎(jiǎng)勵(lì)函數(shù)的第一項(xiàng)為偏置項(xiàng)，使得獎(jiǎng)勵(lì)函數(shù)分布偏移到[-0.5,0.5]，第二項(xiàng)為絕對(duì)目標(biāo)誤差，第三項(xiàng)為藥物劑量懲罰，第四項(xiàng)為過度藥量懲罰；其中，為第k+1時(shí)刻的平均動(dòng)脈壓誤差，a_k是第k時(shí)刻用藥劑量，p_1是用藥劑量懲罰權(quán)重，p_2是過度用藥劑量懲罰。

5.如權(quán)利要求4所述的麻醉數(shù)據(jù)處理方法，其特征在于，所述步驟(1)中的觀測狀態(tài)的個(gè)別項(xiàng)解釋如下：

目標(biāo)動(dòng)脈壓是醫(yī)生期望手術(shù)期間維持的平均動(dòng)脈壓；

平均動(dòng)脈壓誤差＝當(dāng)前時(shí)刻動(dòng)脈壓誤差-目標(biāo)動(dòng)脈壓誤差；

平均動(dòng)脈壓變化＝當(dāng)前時(shí)刻動(dòng)脈壓誤差-前一時(shí)刻動(dòng)脈壓誤差。

6.如權(quán)利要求2所述的麻醉數(shù)據(jù)處理方法，其特征在于，所述步驟二中的離線強(qiáng)化學(xué)習(xí)包括：

(1)從離線臨床麻醉數(shù)據(jù)集中采樣一批樣本對(duì)，每個(gè)樣本對(duì)包括當(dāng)前時(shí)刻環(huán)境狀態(tài)、當(dāng)前時(shí)刻動(dòng)作、下一時(shí)刻環(huán)境狀態(tài)和獎(jiǎng)勵(lì)信息；所述當(dāng)前時(shí)刻動(dòng)作是指智能體預(yù)測的麻醉用藥劑量；

(2)使用時(shí)序差分方法訓(xùn)練Q函數(shù)網(wǎng)絡(luò)，使用AdamW優(yōu)化器訓(xùn)練Q函數(shù)網(wǎng)絡(luò)；其中，目標(biāo)函數(shù)為：

目標(biāo)函數(shù)包括兩部分，后一項(xiàng)是使用時(shí)序差分方法估計(jì)狀態(tài)-動(dòng)作價(jià)值函數(shù)；前一項(xiàng)是用于增加Q估計(jì)值和真實(shí)值之間的距離；其中，\alpha是正則化權(quán)重，s是觀測狀態(tài)，D是離線數(shù)據(jù)集，a是動(dòng)作，Q是Q函數(shù)網(wǎng)絡(luò)，Q_hat是目標(biāo)Q函數(shù)網(wǎng)絡(luò)；\pi表示策略網(wǎng)絡(luò)；

(3)使用指數(shù)移動(dòng)平均方法分別更新目標(biāo)特征網(wǎng)絡(luò)和目標(biāo)Q函數(shù)網(wǎng)絡(luò)；

(4)重復(fù)步驟(1)～步驟(3)，直到算法收斂或達(dá)到給定訓(xùn)練次數(shù)；

(5)輸出策略網(wǎng)絡(luò)作為智能麻醉輸注策略。

7.一種應(yīng)用如權(quán)利要求1～6任意一項(xiàng)所述的麻醉數(shù)據(jù)處理方法的麻醉數(shù)據(jù)處理系統(tǒng)，其特征在于，所述麻醉數(shù)據(jù)處理系統(tǒng)包括：

數(shù)據(jù)獲取模塊，用于獲取臨床真實(shí)麻醉手術(shù)數(shù)據(jù)，構(gòu)建離線臨床麻醉數(shù)據(jù)集；進(jìn)行數(shù)據(jù)篩選和數(shù)據(jù)清洗，并將數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

訓(xùn)練模塊，用于基于離線臨床麻醉數(shù)據(jù)集的訓(xùn)練集，使用離線強(qiáng)化學(xué)習(xí)算法訓(xùn)練麻醉輸注策略；

測試模塊，用于在訓(xùn)練完成后，在測試集上進(jìn)行測試；收集新的臨床真實(shí)麻醉手術(shù)數(shù)據(jù)，加入離線臨床麻醉數(shù)據(jù)集；

迭代模塊，用于迭代執(zhí)行收集數(shù)據(jù)、模型訓(xùn)練和策略驗(yàn)證過程，直到測試結(jié)果符合人類專家水平。