[發明專利]基于時間卷積神經網絡的多模態抑郁癥檢測方法及系統

有效

• 申請號: 202110184432.2
• 申請日: 2021-02-10
• 公開（公告）號: CN112818892B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 楊忠麗;李明定;張光華;武海榮
• 申請（專利權）人: 杭州醫典智能科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 太原申立德知識產權代理事務所(特殊普通合伙) 14115
• 代理人: 郭海燕

1.一種基于時間卷積神經網絡的多模態抑郁癥檢測方法，其特征在于，包括如下步驟：

步驟1：構建訓練樣本集，所述訓練樣本集包含抑郁癥和非抑郁癥患者的音頻、3D面部表情和對應的文本信息；

步驟2：對所述訓練樣本集的3D面部表情進行面部表情特征提取，獲得具備情境感知的3D面部表情特征向量；

步驟3：使用音頻信號分幀加窗算法，結合短時傅里葉變換，繪制所述訓練樣本集的音頻信號的語譜圖；再使用三角濾波器，結合梅爾倒譜系數MFCC，對所述訓練樣本集的語譜圖進行特征增強，獲得具備情景感知的語音向量特征；

步驟4：使用Transformer模型，對所述訓練樣本集的患者測試文本進行句子級嵌入處理，獲得具備情景感知的文本特征；

步驟5：使用圖卷積神經網絡GCN，對所述3D面部表情特征向量、所述語音向量特征和所述文本特征進行融合，獲得用于進行抑郁癥分類的信息；

步驟6：將所述用于進行抑郁癥分類的信息帶入時間卷積神經網絡，獲得抑郁癥分類信息；

所述步驟5具體包括：

每個患者樣本的多模態特征表示為：

其中，為時序t下的第i種模態的特征，T代表時序總長度，N^m代表模態特征的總數目；

該特征序列的多模態時序圖結構表示為A，特征融合網絡利用圖卷積神經網絡，每個特征在第k次迭代表示如下：

其中，D是A的對角矩陣，W^(k+1)是本次迭代過程中可訓練的網絡參數，是非線性激活函數；

由上述圖卷積神經網絡，最終輸出模態無關性的融合特征表示為X^K，K代表圖卷積總層數；

所述步驟6具體包括：

采用遷移學習機制，調整所述3D面部表情特征、聲學通道特征和文本通道特征的權重，帶入時間卷積神經網絡中，使得最終抑郁癥分類預測結果和反饋信息之間的差異最小化；融合所述時間卷積神經網絡的輸出，獲得抑郁癥的分類結果；

采用基于KL散度約束的遷移學習方法引入抑郁癥檢測公開數據集作為源域進行知識遷移，并構建如下損失函數：

L_KL＝∑[∑q(X_s)logq(X_s)]p(X_t)logp(X_t)

其中，X_s和X_t分別代表源域和目標域數據樣本，q(X_s)代表由本方法對于源域數據預測得到的概率分布；

使用遷移學習機制，得到帶預訓練權重的TCN網絡模型；

將融合后的時序特征信號X^K作為輸入，送入TCN網絡中，經全連接層輸出獲得每個樣本不同患病程度的概率分布p(X)。

2.根據權利要求1所述的一種基于時間卷積神經網絡的多模態抑郁癥檢測方法，其特征在于，所述步驟3獲得具備情景感知的語音向量特征的具體過程為：

(1)將采集到的音頻信號經過預加重濾波、分幀加漢寧窗及分幀補零后，對每幀信號進行傅里葉變換得到頻譜，并對語音信號的頻譜取模平方得到功率譜；

(2)再將頻譜及功率譜的縱坐標頻率轉換為梅爾頻率，應用40個在轉換后的梅爾譜上均勻分布且每兩個濾波器間有50％重疊部分的三角濾波器，計算轉換后的頻譜及功率譜在這40個濾波器的梅爾頻率分布，隨后將梅爾頻率通過以下公式轉換成實際頻率：

(3)對三角窗濾波器組的輸出求對數，得到對數能量梅爾譜；

(4)對對數能量梅爾譜進行離散余弦變換DCT變換，取前13維輸出，得到語音向量特征。

3.根據權利要求1所述的一種基于時間卷積神經網絡的多模態抑郁癥檢測方法，其特征在于，所述步驟4獲得具備情景感知的文本特征的具體過程為：

構建Transformer模型，以詞嵌入作為Transformer模型的輸入，該Transformer模型包括多個含有自注意力的編碼器和解碼器以及位于最后一層的softmax層；

利用已有的文本語料，使用無監督訓練方法與訓練Transformer模型參數，然后采用遷移學習，在采集得到的抑郁癥文本數據進行自適應訓練；

在訓練完成后，將softmax層去除，以Transformer模型的輸出作為所述情景感知的文本特征。