[發明專利]一種應用于醫生CPR考核的無人值考和智能評分方法

在審

• 申請號: 202011086144.5
• 申請日: 2020-10-12
• 公開（公告）號: CN112233515A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 劉暢;邰海軍;柯欽瑜;李勝云;蔣偉;曾凡
• 申請（專利權）人: 萱闈（北京）生物科技有限公司
• 主分類號: G09B23/28
• 分類號: G09B23/28;G09B7/02;G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 鄭州中原專利事務所有限公司 41109
• 代理人: 李想

1.一種應用于醫生CPR考核的無人值考和智能評分方法，其特征在于：包括S1：設置考核環節、考核環節的考核要點和考核要點對應的評分標準；所述的考核環節包括操作前準備環節、操作中環節、操作后判斷；S2:采集考生的操作動作視頻和音頻信息后上傳至服務器；S3：服務器將接收的視頻和音頻信息發送至AI智能評分系統，并根據考核要點對應的評分標準對操作者的動作和音頻進行智能評分；S4：服務器將考試的總的評分結果推送至顯示器進行顯示。

2.如權利要求1所述的應用于醫生CPR考核的無人值考和智能評分方法，其特征在于：所述S1中包括設置環節得分值：操作前準備環節包括儀表端莊，服飾整潔得a1分、觀察周圍后，訴環境安全得a2分、輕拍病人雙肩，呼叫患者得a3分、啟動應急反應系統，拿除顫儀得a4分、擺放體位得a5分；操作中環節包括檢查頸動脈搏動，查看胸廓起伏，判斷時間5-10s得b1分、第一次循環按壓得b2分、判斷頸椎有無損傷得b3分、正確清理口、鼻呼吸道得b4分、第一循環人工呼吸得b5分、第二循環按壓得b6分、第二循環呼吸得b7分、第三循環按壓得b8分、第三循環呼吸得b9分、第四循環按壓得b10分、第四循環呼吸得b11分、第五循環按壓得b12分、第五循環呼吸得b13分；操作后判斷包括按壓時是否觀察患者面色得c1分、吹氣時是否觀察患者胸廓起伏得c2分、判斷大動脈搏動是否恢復，呼吸是否恢復、判斷時間5-10s得c3分、檢查患者瞳孔對光反射得c4分、檢查患者口唇、甲床轉紅潤得c5分、口述患者收縮壓大于等于60mmHg得c6分、整理患者衣物并轉運得c7分、整理醫療用物、垃圾分類放置得c8分、整體操作流暢，順序正確得c9分。

3.如權利要求2所述的應用于醫生CPR考核的無人值考和智能評分方法，其特征在于：所述的操作前準備環節、操作中環節和操作后判斷三者之間的分值比例為8:77:15。

4.如權利要求1所述的應用于醫生CPR考核的無人值考和智能評分方法，其特征在于：所述的AI智能評分系統包括人體姿態識別模型、實例分割模型、語音識別系統、智能評分模塊；所述的人體姿態識別模型將獲取的操作者在CPR各個階段的圖像信息輸入，輸出操作者在CPR各個階段的姿態、動作幅值和動作頻率信息；所述的實例分割模型用于識別考生按壓位置、識別考生在各個動作關鍵點的手部整體姿態；所述的語音識別系統將考生的語音轉換為文字；所述的智能評分模塊根據人體姿態識別模型輸出的動作幅值，動作頻率、實例分割模型判別出的位置，手部姿態類別信息，進行考生動作評分，結合語音識別系統識別考生規定的語音信息，給出綜合評分。

5.如權利要求1所述的應用于醫生CPR考核的無人值考和智能評分方法，其特征在于：所述的S2中采用考生監控終端采集考生的操作動作視頻和音頻信息，所述的考生監控終端包括能夠清晰拍攝出考生的全身部位及身體各項動作的操作者正前方的攝像頭、側面攝像頭、考生自帶第一視角攝像頭和對考生語音采集的麥克風陣列。

6.如權利要求1所述的應用于醫生CPR考核的無人值考和智能評分方法，其特征在于：所述的服務器還與數據庫連接，所述的數據庫用于存儲每一個考生的基本信息，扣分關鍵點圖片信息，按壓頻率信息，語音轉文字信息。

7.如權利要求1所述的應用于醫生CPR考核的無人值考和智能評分方法，其特征在于：所述的AI智能評分系統的具體評分方法包括：

S1: 通過操作者正前方和側方的攝像頭識別操作前的準備環節的考核要點，通過攝像頭識別的動作圖像與系統中預先存儲的操作評分標準動作圖像進行對比，正確則根據相應要點評分標準加分，不正確或缺少則不進行加分；通過語音識別模型檢測操作者的說話，有關鍵詞則進行加分，否則不加分；

S2: 檢查頸動脈搏動：所述檢查頸動脈搏動采用正前方攝像頭采集視頻信息，采用目標檢測技術識別手部動作和姿態，包括但不限于實例分割模型或人體姿態檢測模型，實現精準的手部姿態及位置檢測，手指按壓位置誤差小于5的加分，否則不加分；

S3：所述第一循環按壓包括按壓姿勢、按壓部位、按壓次數、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實例分割的方法識別模擬人胸部的按壓點，識別誤差不大于1cm，的加分，否則不加分；采用側面攝像頭采集視頻信息，包括但不限于人體姿態估計模型識別操作者的姿態，包括但不限于識別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時，肩部與腕部的距離在不同時間段內的差值的絕對值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實例分割模型識別手部姿態；識別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態模型檢查操作的肩腕同步，同時檢測手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S4：判斷頸椎有無損傷：采用正前方攝像頭采集視頻信息，包括但不限于實例分割識別模擬人頸部及雙手狀態，有判斷則加分，否則不加分；

S5：正確清理口、鼻呼吸道：使用第一視角攝像頭采集視頻信息，包括但不限于實例分割或人體姿態模型識別手部動作及動作的起始和結束時間，使用實例分割模型識別模擬人的嘴部和鼻子，有判斷則加分，否則不加分；

S6：第一循環人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識別手部姿態，模擬人頭部姿態；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識識別模擬人鼻子，嘴部，操作者手部，嘴部；連續吹氣2次，每次吹氣時間不少于1秒的加分，否則不加分；

S7：第二循環按壓：包括按壓姿勢、按壓部位、按壓次數、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實例分割的方法識別模擬人胸部的按壓點，識別誤差不大于1cm，的加分，否則不加分；采用側面攝像頭采集視頻信息，包括但不限于人體姿態估計模型識別操作者的姿態，包括但不限于識別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時，肩部與腕部的距離在不同時間段內的差值的絕對值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實例分割模型識別手部姿態；識別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態模型檢查操作的肩腕同步，同時檢測手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S8：第二循環人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識別手部姿態，模擬人頭部姿態；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識識別模擬人鼻子，嘴部，操作者手部，嘴部；連續吹氣2次，每次吹氣時間不少于1秒的加分，否則不加分；

S9：第三循環按壓：包括按壓姿勢、按壓部位、按壓次數、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實例分割的方法識別模擬人胸部的按壓點，識別誤差不大于1cm，的加分，否則不加分；采用側面攝像頭采集視頻信息，包括但不限于人體姿態估計模型識別操作者的姿態，包括但不限于識別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時，肩部與腕部的距離在不同時間段內的差值的絕對值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實例分割模型識別手部姿態；識別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態模型檢查操作的肩腕同步，同時檢測手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S10：第三循環人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識別手部姿態，模擬人頭部姿態；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識識別模擬人鼻子，嘴部，操作者手部，嘴部；連續吹氣2次，每次吹氣時間不少于1秒的加分，否則不加分；

S11：第四循環按壓：包括按壓姿勢、按壓部位、按壓次數、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實例分割的方法識別模擬人胸部的按壓點，識別誤差不大于1cm，的加分，否則不加分；采用側面攝像頭采集視頻信息，包括但不限于人體姿態估計模型識別操作者的姿態，包括但不限于識別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時，肩部與腕部的距離在不同時間段內的差值的絕對值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實例分割模型識別手部姿態；識別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態模型檢查操作的肩腕同步，同時檢測手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S12：第四循環人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識別手部姿態，模擬人頭部姿態；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識識別模擬人鼻子，嘴部，操作者手部，嘴部；連續吹氣2次，每次吹氣時間不少于1秒的加分，否則不加分；

S13：第五循環按壓：包括按壓姿勢、按壓部位、按壓次數、按壓頻率和按壓深度；采用正前方攝像頭采集視頻信息，使用實例分割的方法識別模擬人胸部的按壓點，識別誤差不大于1cm，的加分，否則不加分；采用側面攝像頭采集視頻信息，包括但不限于人體姿態估計模型識別操作者的姿態，包括但不限于識別手臂的垂直度，手部與模擬人胸部的接觸情況，腰背是否彎曲，操作者的肩腕同步，手臂垂直度范圍為85~95°，在按壓時，肩部與腕部的距離在不同時間段內的差值的絕對值不大于1cm，均滿足上述的加分，否則不加分；按壓頻率采用正前方攝像頭采集視頻信息，用實例分割模型識別手部姿態；識別按壓頻率采用LSTM模型，每分鐘100-120次的加分，否則不加分；按壓深度采用正前方攝像頭采集視頻信息，包括人體姿態模型檢查操作的肩腕同步，同時檢測手部按壓深度幅值，按壓深度為5-6厘米的加分，否則不加分；

S14：第五循環人工呼吸：包括采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識別手部姿態，模擬人頭部姿態；模擬人頭部下頜尖、耳垂連線與地面角度在80°到95°的加分，否則不加分；采用正前方攝像頭采集視頻信息；包括但不限于采用人體姿態模型或實例分割模型識識別模擬人鼻子，嘴部，操作者手部，嘴部；連續吹氣2次，每次吹氣時間不少于1秒的加分，否則不加分；

S15：操作后判斷：檢查瞳孔、檢查患者口唇、甲床轉紅潤采用第一視角攝像頭采集視頻信息，使用人體姿態模型或實例分割模型識別手部狀態；操作者口述心肺復蘇的有效指證通過語音識別系統轉換為文字信息，有關鍵詞則進行加分，否則不加分；通過操作者正前方和側方的攝像頭識別按壓時是否觀察患者面色、 吹氣時是否觀察患者胸廓起伏、 斷大動脈搏動是否恢復、整理患者衣物并轉運、整理醫療用物、垃圾分類放置、整體操作流暢，順序正確，用目標檢測技術識別手部動作和姿態，包括但不限于實例分割模型或人體姿態檢測模型，實現精準的手部姿態及位置檢測，通過有上述判斷的進行相應的加分，否則不加分。