[發(fā)明專利]一種應(yīng)用于醫(yī)生CPR考核的無(wú)人值考和智能評(píng)分方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011086144.5
• 申請(qǐng)日: 2020-10-12
• 公開（公告）號(hào): CN112233515A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 劉暢;邰海軍;柯欽瑜;李勝云;蔣偉;曾凡
• 申請(qǐng)（專利權(quán)）人: 萱闈（北京）生物科技有限公司
• 主分類號(hào): G09B23/28
• 分類號(hào): G09B23/28;G09B7/02;G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 鄭州中原專利事務(wù)所有限公司 41109
• 代理人: 李想

1.一種應(yīng)用于醫(yī)生CPR考核的無(wú)人值考和智能評(píng)分方法，其特征在于：包括S1：設(shè)置考核環(huán)節(jié)、考核環(huán)節(jié)的考核要點(diǎn)和考核要點(diǎn)對(duì)應(yīng)的評(píng)分標(biāo)準(zhǔn)；所述的考核環(huán)節(jié)包括操作前準(zhǔn)備環(huán)節(jié)、操作中環(huán)節(jié)、操作后判斷；S2:采集考生的操作動(dòng)作視頻和音頻信息后上傳至服務(wù)器；S3：服務(wù)器將接收的視頻和音頻信息發(fā)送至AI智能評(píng)分系統(tǒng)，并根據(jù)考核要點(diǎn)對(duì)應(yīng)的評(píng)分標(biāo)準(zhǔn)對(duì)操作者的動(dòng)作和音頻進(jìn)行智能評(píng)分；S4：服務(wù)器將考試的總的評(píng)分結(jié)果推送至顯示器進(jìn)行顯示。

2.如權(quán)利要求1所述的應(yīng)用于醫(yī)生CPR考核的無(wú)人值考和智能評(píng)分方法，其特征在于：所述S1中包括設(shè)置環(huán)節(jié)得分值：操作前準(zhǔn)備環(huán)節(jié)包括儀表端莊，服飾整潔得a1分、觀察周圍后，訴環(huán)境安全得a2分、輕拍病人雙肩，呼叫患者得a3分、啟動(dòng)應(yīng)急反應(yīng)系統(tǒng)，拿除顫儀得a4分、擺放體位得a5分；操作中環(huán)節(jié)包括檢查頸動(dòng)脈搏動(dòng)，查看胸廓起伏，判斷時(shí)間5-10s得b1分、第一次循環(huán)按壓得b2分、判斷頸椎有無(wú)損傷得b3分、正確清理口、鼻呼吸道得b4分、第一循環(huán)人工呼吸得b5分、第二循環(huán)按壓得b6分、第二循環(huán)呼吸得b7分、第三循環(huán)按壓得b8分、第三循環(huán)呼吸得b9分、第四循環(huán)按壓得b10分、第四循環(huán)呼吸得b11分、第五循環(huán)按壓得b12分、第五循環(huán)呼吸得b13分；操作后判斷包括按壓時(shí)是否觀察患者面色得c1分、吹氣時(shí)是否觀察患者胸廓起伏得c2分、判斷大動(dòng)脈搏動(dòng)是否恢復(fù)，呼吸是否恢復(fù)、判斷時(shí)間5-10s得c3分、檢查患者瞳孔對(duì)光反射得c4分、檢查患者口唇、甲床轉(zhuǎn)紅潤(rùn)得c5分、口述患者收縮壓大于等于60mmHg得c6分、整理患者衣物并轉(zhuǎn)運(yùn)得c7分、整理醫(yī)療用物、垃圾分類放置得c8分、整體操作流暢，順序正確得c9分。

3.如權(quán)利要求2所述的應(yīng)用于醫(yī)生CPR考核的無(wú)人值考和智能評(píng)分方法，其特征在于：所述的操作前準(zhǔn)備環(huán)節(jié)、操作中環(huán)節(jié)和操作后判斷三者之間的分值比例為8:77:15。

4.如權(quán)利要求1所述的應(yīng)用于醫(yī)生CPR考核的無(wú)人值考和智能評(píng)分方法，其特征在于：所述的AI智能評(píng)分系統(tǒng)包括人體姿態(tài)識(shí)別模型、實(shí)例分割模型、語(yǔ)音識(shí)別系統(tǒng)、智能評(píng)分模塊；所述的人體姿態(tài)識(shí)別模型將獲取的操作者在CPR各個(gè)階段的圖像信息輸入，輸出操作者在CPR各個(gè)階段的姿態(tài)、動(dòng)作幅值和動(dòng)作頻率信息；所述的實(shí)例分割模型用于識(shí)別考生按壓位置、識(shí)別考生在各個(gè)動(dòng)作關(guān)鍵點(diǎn)的手部整體姿態(tài)；所述的語(yǔ)音識(shí)別系統(tǒng)將考生的語(yǔ)音轉(zhuǎn)換為文字；所述的智能評(píng)分模塊根據(jù)人體姿態(tài)識(shí)別模型輸出的動(dòng)作幅值，動(dòng)作頻率、實(shí)例分割模型判別出的位置，手部姿態(tài)類別信息，進(jìn)行考生動(dòng)作評(píng)分，結(jié)合語(yǔ)音識(shí)別系統(tǒng)識(shí)別考生規(guī)定的語(yǔ)音信息，給出綜合評(píng)分。

5.如權(quán)利要求1所述的應(yīng)用于醫(yī)生CPR考核的無(wú)人值考和智能評(píng)分方法，其特征在于：所述的S2中采用考生監(jiān)控終端采集考生的操作動(dòng)作視頻和音頻信息，所述的考生監(jiān)控終端包括能夠清晰拍攝出考生的全身部位及身體各項(xiàng)動(dòng)作的操作者正前方的攝像頭、側(cè)面攝像頭、考生自帶第一視角攝像頭和對(duì)考生語(yǔ)音采集的麥克風(fēng)陣列。

6.如權(quán)利要求1所述的應(yīng)用于醫(yī)生CPR考核的無(wú)人值考和智能評(píng)分方法，其特征在于：所述的服務(wù)器還與數(shù)據(jù)庫(kù)連接，所述的數(shù)據(jù)庫(kù)用于存儲(chǔ)每一個(gè)考生的基本信息，扣分關(guān)鍵點(diǎn)圖片信息，按壓頻率信息，語(yǔ)音轉(zhuǎn)文字信息。

7.如權(quán)利要求1所述的應(yīng)用于醫(yī)生CPR考核的無(wú)人值考和智能評(píng)分方法，其特征在于：所述的AI智能評(píng)分系統(tǒng)的具體評(píng)分方法包括：

S1: 通過操作者正前方和側(cè)方的攝像頭識(shí)別操作前的準(zhǔn)備環(huán)節(jié)的考核要點(diǎn)，通過攝像頭識(shí)別的動(dòng)作圖像與系統(tǒng)中預(yù)先存儲(chǔ)的操作評(píng)分標(biāo)準(zhǔn)動(dòng)作圖像進(jìn)行對(duì)比，正確則根據(jù)相應(yīng)要點(diǎn)評(píng)分標(biāo)準(zhǔn)加分，不正確或缺少則不進(jìn)行加分；通過語(yǔ)音識(shí)別模型檢測(cè)操作者的說話，有關(guān)鍵詞則進(jìn)行加分，否則不加分；

S2: 檢查頸動(dòng)脈搏動(dòng)：所述檢查頸動(dòng)脈搏動(dòng)采用正前方攝像頭采集視頻信息，采用目標(biāo)檢測(cè)技術(shù)識(shí)別手部動(dòng)作和姿態(tài)，包括但不限于實(shí)例分割模型或人體姿態(tài)檢測(cè)模型，實(shí)現(xiàn)精準(zhǔn)的手部姿態(tài)及位置檢測(cè)，手指按壓位置誤差小于5的加分，否則不加分；

S3：所述第一循環(huán)按壓包括按壓姿勢(shì)、按壓部位、按壓次數(shù)、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實(shí)例分割的方法識(shí)別模擬人胸部的按壓點(diǎn)，識(shí)別誤差不大于1cm，的加分，否則不加分；采用側(cè)面攝像頭采集視頻信息，包括但不限于人體姿態(tài)估計(jì)模型識(shí)別操作者的姿態(tài)，包括但不限于識(shí)別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時(shí)，肩部與腕部的距離在不同時(shí)間段內(nèi)的差值的絕對(duì)值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實(shí)例分割模型識(shí)別手部姿態(tài)；識(shí)別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態(tài)模型檢查操作的肩腕同步，同時(shí)檢測(cè)手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S4：判斷頸椎有無(wú)損傷：采用正前方攝像頭采集視頻信息，包括但不限于實(shí)例分割識(shí)別模擬人頸部及雙手狀態(tài)，有判斷則加分，否則不加分；

S5：正確清理口、鼻呼吸道：使用第一視角攝像頭采集視頻信息，包括但不限于實(shí)例分割或人體姿態(tài)模型識(shí)別手部動(dòng)作及動(dòng)作的起始和結(jié)束時(shí)間，使用實(shí)例分割模型識(shí)別模擬人的嘴部和鼻子，有判斷則加分，否則不加分；

S6：第一循環(huán)人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)別手部姿態(tài)，模擬人頭部姿態(tài)；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)識(shí)別模擬人鼻子，嘴部，操作者手部，嘴部；連續(xù)吹氣2次，每次吹氣時(shí)間不少于1秒的加分，否則不加分；

S7：第二循環(huán)按壓：包括按壓姿勢(shì)、按壓部位、按壓次數(shù)、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實(shí)例分割的方法識(shí)別模擬人胸部的按壓點(diǎn)，識(shí)別誤差不大于1cm，的加分，否則不加分；采用側(cè)面攝像頭采集視頻信息，包括但不限于人體姿態(tài)估計(jì)模型識(shí)別操作者的姿態(tài)，包括但不限于識(shí)別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時(shí)，肩部與腕部的距離在不同時(shí)間段內(nèi)的差值的絕對(duì)值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實(shí)例分割模型識(shí)別手部姿態(tài)；識(shí)別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態(tài)模型檢查操作的肩腕同步，同時(shí)檢測(cè)手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S8：第二循環(huán)人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)別手部姿態(tài)，模擬人頭部姿態(tài)；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)識(shí)別模擬人鼻子，嘴部，操作者手部，嘴部；連續(xù)吹氣2次，每次吹氣時(shí)間不少于1秒的加分，否則不加分；

S9：第三循環(huán)按壓：包括按壓姿勢(shì)、按壓部位、按壓次數(shù)、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實(shí)例分割的方法識(shí)別模擬人胸部的按壓點(diǎn)，識(shí)別誤差不大于1cm，的加分，否則不加分；采用側(cè)面攝像頭采集視頻信息，包括但不限于人體姿態(tài)估計(jì)模型識(shí)別操作者的姿態(tài)，包括但不限于識(shí)別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時(shí)，肩部與腕部的距離在不同時(shí)間段內(nèi)的差值的絕對(duì)值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實(shí)例分割模型識(shí)別手部姿態(tài)；識(shí)別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態(tài)模型檢查操作的肩腕同步，同時(shí)檢測(cè)手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S10：第三循環(huán)人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)別手部姿態(tài)，模擬人頭部姿態(tài)；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)識(shí)別模擬人鼻子，嘴部，操作者手部，嘴部；連續(xù)吹氣2次，每次吹氣時(shí)間不少于1秒的加分，否則不加分；

S11：第四循環(huán)按壓：包括按壓姿勢(shì)、按壓部位、按壓次數(shù)、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實(shí)例分割的方法識(shí)別模擬人胸部的按壓點(diǎn)，識(shí)別誤差不大于1cm，的加分，否則不加分；采用側(cè)面攝像頭采集視頻信息，包括但不限于人體姿態(tài)估計(jì)模型識(shí)別操作者的姿態(tài)，包括但不限于識(shí)別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時(shí)，肩部與腕部的距離在不同時(shí)間段內(nèi)的差值的絕對(duì)值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實(shí)例分割模型識(shí)別手部姿態(tài)；識(shí)別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態(tài)模型檢查操作的肩腕同步，同時(shí)檢測(cè)手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S12：第四循環(huán)人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)別手部姿態(tài)，模擬人頭部姿態(tài)；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)識(shí)別模擬人鼻子，嘴部，操作者手部，嘴部；連續(xù)吹氣2次，每次吹氣時(shí)間不少于1秒的加分，否則不加分；

S13：第五循環(huán)按壓：包括按壓姿勢(shì)、按壓部位、按壓次數(shù)、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實(shí)例分割的方法識(shí)別模擬人胸部的按壓點(diǎn)，識(shí)別誤差不大于1cm，的加分，否則不加分；采用側(cè)面攝像頭采集視頻信息，包括但不限于人體姿態(tài)估計(jì)模型識(shí)別操作者的姿態(tài)，包括但不限于識(shí)別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時(shí)，肩部與腕部的距離在不同時(shí)間段內(nèi)的差值的絕對(duì)值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實(shí)例分割模型識(shí)別手部姿態(tài)；識(shí)別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態(tài)模型檢查操作的肩腕同步，同時(shí)檢測(cè)手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S14：第五循環(huán)人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)別手部姿態(tài)，模擬人頭部姿態(tài)；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)識(shí)別模擬人鼻子，嘴部，操作者手部，嘴部；連續(xù)吹氣2次，每次吹氣時(shí)間不少于1秒的加分，否則不加分；

S15：操作后判斷：檢查瞳孔、檢查患者口唇、甲床轉(zhuǎn)紅潤(rùn)采用第一視角攝像頭采集視頻信息，使用人體姿態(tài)模型或?qū)嵗指钅Ｐ妥R(shí)別手部狀態(tài)；操作者口述心肺復(fù)蘇的有效指證通過語(yǔ)音識(shí)別系統(tǒng)轉(zhuǎn)換為文字信息，有關(guān)鍵詞則進(jìn)行加分，否則不加分；通過操作者正前方和側(cè)方的攝像頭識(shí)別按壓時(shí)是否觀察患者面色、 吹氣時(shí)是否觀察患者胸廓起伏、 斷大動(dòng)脈搏動(dòng)是否恢復(fù)、整理患者衣物并轉(zhuǎn)運(yùn)、整理醫(yī)療用物、垃圾分類放置、整體操作流暢，順序正確，用目標(biāo)檢測(cè)技術(shù)識(shí)別手部動(dòng)作和姿態(tài)，包括但不限于實(shí)例分割模型或人體姿態(tài)檢測(cè)模型，實(shí)現(xiàn)精準(zhǔn)的手部姿態(tài)及位置檢測(cè)，通過有上述判斷的進(jìn)行相應(yīng)的加分，否則不加分。