[發明專利]一種基于BERT遷移學習的社交網絡抑郁傾向檢測模型及其訓練方法

有效

• 申請號: 202010311770.3
• 申請日: 2020-04-20
• 公開（公告）號: CN111540470B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 王垚;賈寶龍;杜依寧;張晗;陳響
• 申請（專利權）人: 北京世相科技文化有限公司
• 主分類號: G16H50/30
• 分類號: G16H50/30;G16H50/70;G06N3/045;G06N3/08;G06Q50/00
• 代理公司: 北京載博知識產權代理事務所(普通合伙) 11116
• 代理人: 莊益利

1.一種基于BERT遷移學習的社交網絡抑郁傾向檢測模型的訓練方法，其特征在于：

基于BERT遷移學習的社交網絡抑郁傾向檢測模型包括預訓練的BERT網絡模型、

Auto-Encoder編碼網絡模型和多層神經網絡判別模型；

所述抑郁傾向檢測模型的訓練方法包括：

(1)從社交網絡中獲取用戶所有原創文本內容并清洗，輸入至預訓練的BERT網絡模型，獲取文本內容對應的向量序列；

(2)將所述的文本的向量序列作為輸入和輸出，訓練Auto-Encoder編碼網絡模型，獲取向量序列對應的低維度文本向量序列；

(3)將所述低維度文本向量序列構造用戶向量序列；

(4)將所述用戶向量序列作為輸入，人工標注得到的標簽作為輸出，訓練多層神經網絡判別模型；

所述Auto-Encoder編碼網絡模型包括編碼器Encoder和解碼器Decoder；

其中步驟(2)所述訓練Auto-Encoder編碼網絡模型的方法包括：

將步驟(1)所述文本內容對應的向量序列作為所述編碼器Encoder的輸入；

將所述編碼器Encoder的輸出作為所述解碼器Decoder的輸入；

將所述解碼器Decoder的輸出目標作為所述編碼器Encoder的輸入；

對所述解碼器Decoder構造均方誤差損失函數；

利用所述均方誤差損失函數對所述Auto-Encoder編碼網絡的參數進行更新；當所述Auto-Encoder編碼網絡模型的損失變化量小于0.001時完成訓練。

2.根據權利要求1所述的社交網絡抑郁傾向檢測模型的訓練方法，其中步驟(4)所述多層神經網絡判別模型包括1個輸入層、3個隱藏層和1個輸出層。

3.根據權利要求2所述的社交網絡抑郁傾向檢測模型的訓練方法，其中步驟(4)所述輸入層神經元個數為128，3個隱藏層神經元個數分別為64、32和10，輸出層神經元個數為1。

4.根據權利要求1所述的社交網絡抑郁傾向檢測模型的訓練方法，在步驟(4)中，所述訓練多層神經網絡判別模型包括：

a)將所述用戶向量作為所述多層神經網絡模型的輸入；

b)將所述人工標注得到的標簽作為所述多層神經網絡模型的輸出；

c)構造交叉熵損失函數；

d)利用交叉熵損失函數對所述多層神經網絡判別模型的參數進行更新；利用所述交叉熵損失函數對所述多層神經網絡判別模型的參數進行更新；所述多層神經網絡判別模型的損失變化量小于0.001時訓練完成。

5.根據權利要求1所述的方法，其中，步驟(3)中，將低維度文本向量序列按照對應維度求均值的方式構建用戶向量序列。

6.一種基于BERT遷移學習的社交網絡抑郁傾向檢測方法，包括：

(1)獲取用戶所有原創文本內容；

(2)將所述文本內容進行數據清洗獲得可用文本內容；

(3)將所述可用文本內容輸入至預訓練的BERT網絡模型，獲取文本內容對應的向量序列；

(4)將所述向量序列輸入至預先訓練的Auto-Encoder編碼網絡模型，獲取所述向量序列對應的低維度向量序列；

所述預先訓練的Auto-Encoder編碼網絡模型為按照權利要求1-3任一項所述的方法訓練的Auto-Encoder編碼網絡模型；

(5)根據所述用戶下所有低維度向量序列，按照對應維度求均值的方式，獲取用戶向量序列；

(6)將所述用戶向量序列輸入至預先訓練的多層神經網絡判別模型中，獲得基于所述用戶的抑郁傾向判定結果；

所述預先訓練的多層神經網絡判別模型為按照權利要求1-4任一項所述的方法訓練的多層神經網絡判別模型。

7.根據權利要求6所述的基于BERT遷移學習的社交網絡抑郁傾向檢測方法，其中，所述多層神經網絡的輸出為所述用戶抑郁傾向的判定結果，所述判定結果為所述用戶抑郁傾向的二分類結果。

8.一種基于BERT遷移學習的社交網絡抑郁傾向檢測系統，包括：

A)預訓練的BERT網絡模型，用于獲取所述用戶文本內容所對應的向量序列；

B)按照權利要求1中所述方法訓練得到Auto-Encoder編碼網絡模型，用于將所述向量序列轉化為低維度向量序列；

C)按照權利要求1中所述方法訓練得到多層神經網絡判別模型；

所述多層神經網絡判別模型的輸出為用戶抑郁傾向的判定結果。