[發明專利]基于多模態深度學習技術的兒童ADHD篩查評估系統

有效

• 申請號: 202010401503.5
• 申請日: 2020-05-13
• 公開（公告）號: CN111528859B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張雁翼;浦世亮;朱強;孔鳴;洪文琛;趙天琦
• 申請（專利權）人: 浙江大學人工智能研究所德清研究院
• 主分類號: A61B5/11
• 分類號: A61B5/11;A61B5/16;A61B5/00;G06V40/70;G06F18/214;G06F18/24;G06N3/0442;G06N3/0464;G06N3/084
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于多模態深度學習技術的兒童ADHD篩查評估系統，包括：量表測試模塊，用于通過ADHD診斷心理學量表采集和評估就診兒童；軟硬件協同模塊，用于開發測試軟件讓就診兒童完成任務，硬件模組用于記錄任務測試過程中的眼動注意力、表情和身體姿態三方面信息；智能分析模塊，用于運用計算機視覺技術進行眼動注意力、表情、姿態的分析，還對測試者的鼠標移動、點擊和鍵盤輸入動作也做了記錄和跟蹤，與同質化向量融合；多模態信息融合模型，采用時序多模態信息融合模型BERT，對某個特定時間片段中獲取的同質化向量結合測試結果進行預訓練，最終生成的模型判斷患者在本時間段是否存在異常行為的分類結果。本發明效率較高、準確性較好。

技術領域

本發明涉及一種兒童注意缺陷多動障礙(ADHD)篩查評估系統。

背景技術

注意缺陷多動障礙(ADHD)，俗稱多動癥，是兒童青少年期最常見的神經發育障礙，其臨床表現是注意集中困難、活動過度、沖動，情緒不穩定、學習困難等。

目前的ADHD醫學影像的智能識別技術主要是基于腦部功能性核磁共振和腦電圖等病理方面的研究，或者單獨基于眼動或面部表情等觀察患者的行為特征。前者的技術操作過程十分復雜，對于很難控制自己行為的兒童而言更為困難，而且這些技術的價格非常昂貴，目前很難有大規模落地的可能。后者的信息維度單一，很難全面的對兒童的行為作出評估，而ADHD兒童的表現形式是多種多樣的，單獨觀察眼動或肢體動作都可能遺漏其他重要的行為特征。

發明內容

為了克服已有兒童ADHD篩查評估方式的效率低下、準確性較差的不足，本發明提供了一種效率較高、準確性較好的基于多模態深度學習技術的兒童ADHD篩查評估系統。

本發明解決其技術問題所采用的技術方案是：

一種基于多模態深度學習技術的兒童ADHD篩查評估系統，包括：

量表測試模塊，用于通過ADHD診斷心理學量表采集和評估就診兒童各方面的行為表現和相關能力；

軟硬件協同模塊，用于開發測試軟件讓就診兒童完成任務，硬件模組包括是多攝像頭組及同步控制系統，用于記錄任務測試過程中的眼動注意力、表情和身體姿態三方面信息；

智能分析模塊，用于將對軟硬件協同模塊中采集到的多媒體信息進行智能處理，運用計算機視覺技術進行眼動注意力、表情、姿態的分析、跟蹤和識別，并轉化為下一步機器學習可兼容的同質化向量表示，同時，還對測試者的鼠標移動、點擊和鍵盤輸入動作也做了記錄和跟蹤，可與同質化向量融合；

多模態信息融合模型，采用時序多模態信息融合模型BERT(Devlin?et?al.,2018)，對某個特定時間片段中獲取的同質化向量結合測試結果進行預訓練，最終生成的模型判斷患者在本時間段是否存在異常行為的分類結果。

進一步，所述軟硬件協同模塊中，位于電腦顯示屏后方的1號攝像頭用于拍攝測試者的正面圖像，采集測試者的眼動與表情變化信息；位于測試者座位側面的2、3號雙目深度攝像頭模組可用于拍攝測試者全身，采集測試者三維身體姿態信息。

再進一步，所述軟硬件協同模塊中，在拍攝期間測試者需要完成ADHD臨床診斷的三種心理學測試：Stroop測試、威斯康辛卡片分類測試和表情識別測試，這三種測試分別對患者注意力、抑制認知干擾、抽象思維和認知轉移、情緒和社交等認知功能進行評估，Stroop測試通過字義與字體顏色沖突來評測測試者抑制認知干擾的能力；威斯康辛卡片分類測試通過變換顏色、形狀、數量的測試規則來評測測試者的認知轉移能力；表情測試通過對人臉圖片的表情進行分類來評測測試者的社交認知能力；將以上三種執行功能測試整合到一套任務測試軟件中。