[發(fā)明專利]基于多模態(tài)深度學(xué)習(xí)技術(shù)的兒童ADHD篩查評估系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010401503.5
• 申請日: 2020-05-13
• 公開（公告）號: CN111528859B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 張雁翼;浦世亮;朱強(qiáng);孔鳴;洪文琛;趙天琦
• 申請（專利權(quán)）人: 浙江大學(xué)人工智能研究所德清研究院
• 主分類號: A61B5/11
• 分類號: A61B5/11;A61B5/16;A61B5/00;G06V40/70;G06F18/214;G06F18/24;G06N3/0442;G06N3/0464;G06N3/084
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

1.一種基于多模態(tài)深度學(xué)習(xí)技術(shù)的兒童ADHD篩查評估系統(tǒng)，其特征在于，所述系統(tǒng)包括：

量表測試模塊，用于通過ADHD診斷心理學(xué)量表采集和評估就診兒童各方面的行為表現(xiàn)和相關(guān)能力；

軟硬件協(xié)同模塊，用于開發(fā)測試軟件讓就診兒童完成任務(wù)，硬件模組包括是多攝像頭組及同步控制系統(tǒng)，用于記錄任務(wù)測試過程中的眼動注意力、表情和身體姿態(tài)三方面信息；

智能分析模塊，用于將對軟硬件協(xié)同模塊中采集到的多媒體信息進(jìn)行智能處理，運(yùn)用計算機(jī)視覺技術(shù)進(jìn)行眼動注意力、表情、姿態(tài)的分析、跟蹤和識別，并轉(zhuǎn)化為同質(zhì)化向量表示，同時，還對測試者的鼠標(biāo)移動、點(diǎn)擊和鍵盤輸入動作也做了記錄和跟蹤，與同質(zhì)化向量融合；

多模態(tài)信息融合模型，采用時序多模態(tài)信息融合模型BERT，對某個特定時間片段中獲取的同質(zhì)化向量結(jié)合測試結(jié)果進(jìn)行預(yù)訓(xùn)練，最終生成的模型判斷患者在本時間段是否存在異常行為的分類結(jié)果；

所述軟硬件協(xié)同模塊中，位于電腦顯示屏后方的1號攝像頭用于拍攝測試者的正面圖像，采集測試者的眼動與表情變化信息；位于測試者座位側(cè)面的2、3號雙目深度攝像頭模組用于拍攝測試者全身，采集測試者三維身體姿態(tài)信息；

所述軟硬件協(xié)同模塊中，在拍攝期間測試者需要完成ADHD臨床診斷的三種心理學(xué)測試：Stroop測試、威斯康辛卡片分類測試和表情識別測試，這三種測試分別對患者注意力、抑制認(rèn)知干擾、抽象思維和認(rèn)知轉(zhuǎn)移、情緒和社交等認(rèn)知功能進(jìn)行評估，Stroop測試通過字義與字體顏色沖突來評測測試者抑制認(rèn)知干擾的能力；威斯康辛卡片分類測試通過變換顏色、形狀、數(shù)量的測試規(guī)則來評測測試者的認(rèn)知轉(zhuǎn)移能力；表情測試通過對人臉圖片的表情進(jìn)行分類來評測測試者的社交認(rèn)知能力；將以上三種執(zhí)行功能測試整合到一套任務(wù)測試軟件中；

三種測試的過程中，測試軟件能夠與攝像頭模組進(jìn)行交互，當(dāng)測試者開始測試時，軟件會啟動攝像頭模組開始錄制，記錄下測試者眼部、表情及姿態(tài)視頻信息，用于智能分析模塊分析提取關(guān)鍵特征；當(dāng)測試完成時，測試軟件會同步停止攝像頭模組的錄制工作；同時測試軟件能夠?qū)y量指標(biāo)進(jìn)行整合與統(tǒng)計，并記錄答題操作的關(guān)鍵時間節(jié)點(diǎn)及被測人員的鼠標(biāo)鍵盤動作，這些形成了多模態(tài)融合機(jī)制的數(shù)據(jù)基礎(chǔ)；

所述智能分析模塊包括眼動注意力特征向量計算單元、表情特征向量計算單元和肢體動作特征向量計算單元；

所述肢體動作特征向量計算單元中，輸入為采集到的側(cè)面視頻V_Side，輸出為產(chǎn)生的3D骨架序列F_3D，包括以下步驟：

3.1置信圖與PAF計算：對于圖片輸入，首先通過10層VGG-19提取圖片特征F，再將F輸入兩個多階段CNN，一個網(wǎng)絡(luò)通過置信圖的方式確定人體關(guān)節(jié)點(diǎn)位置，另一個網(wǎng)絡(luò)通過PartAffinity?Fields(PAF)確定肢體方向；最終得到置信圖S＝(S₁,S₂,…S_J)與PAF?L＝(L₁,L₂,…,L_C)，其中J，C分別表示關(guān)節(jié)點(diǎn)和肢體的種類數(shù)量；

3.2關(guān)節(jié)點(diǎn)匹配優(yōu)化：根據(jù)置信圖得到關(guān)節(jié)點(diǎn)的位置，表示第j類關(guān)節(jié)點(diǎn)中的第m個，通過L計算關(guān)節(jié)點(diǎn)組相連的置信度

其中p是兩點(diǎn)之間的插值函數(shù)：

其中，u表示預(yù)測點(diǎn)到的距離占與距離的比值；

3.3最后再將有共同關(guān)節(jié)點(diǎn)的肢體相連接，形成完整的人體2D骨架特征f_2D，最終將2D骨架序列輸入一個神經(jīng)網(wǎng)絡(luò)，得到3D骨架序列f_3D，對于整段視頻，最終的3D骨架序列即為：F_3D＝[f_3D1,f_3D2,…,f_3DN]；

對于整個答題過程，有正面視頻V_Front，側(cè)面視頻V_Side，以及答題操作序列A＝{a₁,a₂,…,a_K}，a_i代表第i題答題的時間戳，K為答題總數(shù)，按照答題時間戳將整個答題流程切分成K個時間段，對于每個時間段，V_Front和V_side所對應(yīng)的視頻幀構(gòu)成一個圖像序列，對應(yīng)的，有從視頻幀提取得到對應(yīng)的眼動注意力向量F_g、微表情F_exp、動作特征向量F_3D；

對于時刻i，將智能分析模塊所得到的三種不同向量f_gi(9-d)、f_expi(22-d)、f_3Di(75-d)以及該測試者當(dāng)前的答題情況f_ansi拼接起來，得到表示該時刻測試者行為特征的向量；對于一個片段，得到表示當(dāng)前時刻的行為特征x_i＝[f_gi,f_expi,f_3Di,f_ansi](1-d)，由此，對于整段測試，得到N維行為特征向量序列X＝{x₀,x₁,x₂,…,x_N}，其中x₀是一個固定的起始向量；

所述眼動注意力特征向量計算單元，輸入為采集到的正面視頻V_Front和相機(jī)標(biāo)定矩陣C_r，輸出為產(chǎn)生的眼動注意力特征向量F_g，包括以下步驟:

1.1瞳孔位置計算：首先通過基于HOG的算法確認(rèn)臉部位置，對臉部關(guān)鍵點(diǎn)的檢測通過連續(xù)條件神經(jīng)場模型框架實(shí)現(xiàn)，由此計算出平面中的瞳孔位置e_h；接著，利用EPnP算法，將檢測到的人臉與平均標(biāo)準(zhǔn)3D臉模F進(jìn)行對齊，計算出相機(jī)坐標(biāo)系下頭部的旋轉(zhuǎn)矩陣R_r以及平移向量t_r，此步驟的輸出為眼部空間位置e_r＝t_r+e_h；

1.2視線方向計算，視線方向特征表示為一個包含偏航角和俯仰角的二維向量g，所述偏航角為視線方向與垂直平面的夾角，所述俯仰角為視線方向與水平面的夾角；

1.3屏幕位置換算：通過外部標(biāo)定的方式，確定屏幕所在平面的空間位置，根據(jù)視線方向特征向量g以及眼部位置e_r計算視線與屏幕平面的交點(diǎn)，即為視線在屏幕上的落點(diǎn)p_s，再根據(jù)屏幕結(jié)構(gòu)得到眼部注意力區(qū)域r；

1.4將瞳孔位置、視線方向及屏幕注意力三者進(jìn)行結(jié)合，得到最終的眼動注意力特征向量，表示為F_g＝[e_r,g,r]；

所述步驟1.2中，先對眼部圖像進(jìn)行歸一化處理：將原圖像乘以相機(jī)投影矩陣的逆矩陣轉(zhuǎn)化為三維空間中的頭部位姿；再將此時的頭部原姿態(tài)乘以變換矩陣M來固定眼部位置，最后再將歸一化后的眼部姿態(tài)乘以一個標(biāo)準(zhǔn)相機(jī)投影矩陣C_n，得到歸一化后的眼部二維圖像e；為了計算視線向量，將歸一化旋轉(zhuǎn)矩陣R_n＝M?R_r變換為二維旋轉(zhuǎn)矢量h，將得到的2D頭部姿態(tài)信息h和單通道灰度眼部圖像e輸入卷積神經(jīng)網(wǎng)絡(luò)模型，輸出視線方向特征向量，所述特征向量為包含偏航角和俯仰角的二維向量g。