[發明專利]基于人機交互的孤獨癥早期篩查系統

在審

• 申請號: 202210631013.3
• 申請日: 2022-06-06
• 公開（公告）號: CN114974572A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 陳益強;蔣鑫龍;李宜兵;姜懷臣;翟云川
• 申請（專利權）人: 濟南中科泛在智能計算研究院
• 主分類號: G16H50/20
• 分類號: G16H50/20;G06V40/18;G06V40/16;G06V20/40;G06V10/82;G06V10/774;G06N3/04
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于人機交互的孤獨癥早期篩查系統，包括：數據采集模塊，通過人機交互的方式采集受試者的交互動作視頻與音頻；數據感知模塊，對交互動作視頻數據進行肢體骨干檢測和肢體語言識別；對交互動作視頻數據進行人臉人臉檢測、人臉關鍵點檢測和表情識別；對交互動作視頻數據進行眼部關鍵點檢測，結合人臉關鍵點進行視線方向估計；對交互動作視頻數據進行虹膜檢測，根據虹膜尺寸進行人臉測距；數據分析模塊，根據交互場景指引與數據感知結果統計被試者的正確響應次數，對孤獨癥指數進行各項能力的評估；基于訓練后的神經網絡模型，進行孤獨癥輔助診斷結果的預測；數據輸出模塊，輸出孤獨癥的早期篩查結果。

技術領域

本發明涉及孤獨癥早期篩查技術領域，特別是涉及基于人機交互的孤獨癥早期篩查系統。

背景技術

本部分的陳述僅僅是提到了與本發明相關的背景技術，并不必然構成現有技術。

孤獨癥譜系障礙(Autism Spectrum Disorder,ASD)是一組較為嚴重的兒童神經發育障礙性疾病，患者難以發展正常社交關系，并表現出受限或重復行為。目前ASD的早篩查方案主要以量表測試為主，主流ASD篩查量表有7種以上，各量表各有特點，各醫院或醫療機構以及醫療從業者對于量表的選擇不盡相同，總體而言基于量表的ASD早期篩查存在以下問題亟待解決：

(1)大多借助國外ASD研究形成的常模，缺乏本土適應性。

(2)測量時間長，量表填寫通常需要一小時以上，部分量表，如ASD診斷訪談量表修訂版(Autism Diagnostic Interview-Revised,ADI-R)測試甚至需要2-2.5小時。

(3)依賴監護人或撫養者較長期的觀察，主觀因素影響測試結果。

(4)要求從業人員較高資質。

(5)兒童或被測者參與度低。

(6)由實驗研究規則確定篩查常模，更新緩慢。

除了基于量表的ASD早期篩查方法，部分研究者提出使用機器學習的方案進行ASD早期篩查，該方案依然存在一些問題需要解決：

(1)目前的機器學習通常輸入單一模態數據，如眼動數據、被試者的圖像等，對于體現ASD關鍵特征的肢體動作、表情、語音、眼神、社交距離等相關信息反應不足，難以支撐模型達到高信度與高效度。

(2)缺乏被試者的交互性與沉浸式參與，難以完成機器學習中必要的高質量數據采集工作與模型迭代。

發明內容

為了解決現有技術的不足，本發明提供了基于人機交互的孤獨癥早期篩查系統；被試者有較高的參與程度，篩查過程具有趣味性，有助于激發兒童被試者的投入，提高篩查準確率與數據質量。

基于人機交互的孤獨癥早期篩查系統，包括：

數據采集模塊，其被配置為：通過人機交互的方式采集受試者的交互動作視頻與音頻；

數據感知模塊，其被配置為：對交互動作視頻數據進行肢體骨干檢測和肢體語言識別；對交互動作視頻數據進行人臉人臉檢測、人臉關鍵點檢測和表情識別；對交互動作視頻數據進行眼部關鍵點檢測結合人臉關鍵點進行視線方向估計；對音頻數據進行去噪和量化處理；對交互動作視頻數據進行虹膜檢測，根據虹膜尺寸進行人臉測距；

數據分析模塊，其被配置為：根據交互場景指引與數據感知結果統計被試者的正確響應次數，對孤獨癥指數進行各項能力的評估；將測試過程中被試者產生的肢體語言正確性結果序列、表情正確性結果序列、眼神方向與屏幕顯示目標物體的偏差值序列、社交距離與期望距離偏差值序列作為特征數據，基于訓練后的神經網絡模型，進行孤獨癥輔助診斷結果的預測；