[發(fā)明專利]基于人機交互的孤獨癥早期篩查系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210631013.3
• 申請日: 2022-06-06
• 公開（公告）號: CN114974572A
• 公開（公告）日: 2022-08-30
• 發(fā)明（設計）人: 陳益強;蔣鑫龍;李宜兵;姜懷臣;翟云川
• 申請（專利權）人: 濟南中科泛在智能計算研究院
• 主分類號: G16H50/20
• 分類號: G16H50/20;G06V40/18;G06V40/16;G06V20/40;G06V10/82;G06V10/774;G06N3/04
• 代理公司: 濟南圣達知識產(chǎn)權代理有限公司 37221
• 代理人: 黃海麗

1.基于人機交互的孤獨癥早期篩查系統(tǒng)，其特征是，包括：

數(shù)據(jù)采集模塊，其被配置為：通過人機交互的方式采集受試者的交互動作視頻與音頻；

數(shù)據(jù)感知模塊，其被配置為：對交互動作視頻數(shù)據(jù)進行肢體骨干檢測和肢體語言識別；對交互動作視頻數(shù)據(jù)進行人臉人臉檢測、人臉關鍵點檢測和表情識別；對交互動作視頻數(shù)據(jù)進行眼部關鍵點檢測結合人臉關鍵點進行視線方向估計；對音頻數(shù)據(jù)進行去噪和量化處理；對交互動作視頻數(shù)據(jù)進行虹膜檢測，根據(jù)虹膜尺寸進行人臉測距；

數(shù)據(jù)分析模塊，其被配置為：根據(jù)交互場景指引與數(shù)據(jù)感知結果統(tǒng)計被試者的正確響應次數(shù)，對孤獨癥指數(shù)進行各項能力的評估；將測試過程中被試者產(chǎn)生的肢體語言正確性結果序列、表情正確性結果序列、眼神方向與屏幕顯示目標物體的偏差值序列、社交距離與期望距離偏差值序列作為特征數(shù)據(jù)，基于訓練后的神經(jīng)網(wǎng)絡模型，進行孤獨癥輔助診斷結果的預測；

數(shù)據(jù)輸出模塊，其被配置為：輸出受試者的肢體語言能力、表情控制能力、眼神控制能力、音量控制能力和社交距離能力；并輸出孤獨癥的早期篩查結果。

2.如權利要求1所述的基于人機交互的孤獨癥早期篩查系統(tǒng)，其特征是，所述對交互動作視頻數(shù)據(jù)進行肢體骨干檢測和肢體語言識別，具體包括：

從肢體運動數(shù)據(jù)中提取肢體特征關鍵點和手部特征關鍵點；采用Blaze Pose模型提取人體的肢體特征關鍵點，采用Blaze Plam提取人體的手部特征關鍵點；

將肢體特征關鍵點與手部特征關鍵點進行特征融合，得到融合特征；所述特征融合采用拼接方式進行特征融合；

將融合的特征輸入到訓練后的第一卷積神經(jīng)網(wǎng)絡中，輸出肢體語言預測標簽；

記錄肢體語言預測結果的序列與要求模仿的標準肢體語言，當比對結果完全一致時，記為通過肢體語言模仿測試。

3.如權利要求1所述的基于人機交互的孤獨癥早期篩查系統(tǒng)，其特征是，對交互動作視頻數(shù)據(jù)進行人臉人臉檢測、人臉關鍵點檢測和表情識別，具體包括：

從面部表情數(shù)據(jù)中進行人臉檢測，將檢測的到的人臉圖像進行尺寸變換，其尺寸變換為48*48像素；

將人臉圖像輸入到訓練后的第二卷積神經(jīng)網(wǎng)絡中，獲得表情的預測結果；

記錄表情預測結果的序列與要求模仿的標準表情，當比較結果完全一致時，記為通過表情模仿測試。

4.如權利要求1所述的基于人機交互的孤獨癥早期篩查系統(tǒng)，其特征是，所述對交互動作視頻數(shù)據(jù)進行眼部關鍵點檢測，結合人臉關鍵點進行視線方向估計；具體包括：

采用人臉檢測算法Blaze Face進行面部網(wǎng)格檢測，并且根據(jù)人臉關鍵點分離出眼部圖像；

將眼部圖像，輸入到虹膜識別算法中，輸出眼部輪廓估計結果和虹膜定位結果；

基于眼部輪廓坐標以及虹膜定位坐標，采用訓練后的第三卷積神經(jīng)網(wǎng)絡預測受試者的眼睛看向屏幕的坐標位置；

記錄預測的坐標位置與顯示的目標物體位置的距離差序列，當距離差均小于設定像素時，表示受試者通過視線控制的測試。

5.如權利要求1所述的基于人機交互的孤獨癥早期篩查系統(tǒng)，其特征是，所述對交互動作視頻數(shù)據(jù)進行虹膜檢測，根據(jù)虹膜尺寸進行人臉測距；具體包括：

對虹膜定位結果計算直徑；

從圖像的可交換圖像文件EXIF中獲取焦距信息；

根據(jù)直徑和焦距信息，計算人臉距離攝像頭的距離。

6.如權利要求1所述的基于人機交互的孤獨癥早期篩查系統(tǒng)，其特征是，根據(jù)交互場景指引與數(shù)據(jù)感知結果統(tǒng)計被試者的正確響應次數(shù)，對孤獨癥指數(shù)進行各項能力的評估；具體包括：

根據(jù)場景的交互過程，按照肢體語言交互的完成程度、表情交互完成程度、眼神交互完成程度、對話音量控制情況、社交距離控制情況統(tǒng)計各項能力得分。

7.如權利要求1所述的基于人機交互的孤獨癥早期篩查系統(tǒng)，其特征是，所述通過人機交互的方式采集受試者的交互動作視頻與音頻；具體包括：

通過人機交互的方式采集受試者的肢體運動數(shù)據(jù)，通過屏幕播放虛擬人物的指定肢體動作，播放語音以引導受試者模仿，通過攝像頭采集受試者對虛擬人物的肢體動作的模仿視頻。