[發明專利]一種基于BERT遷移學習的社交網絡抑郁傾向檢測模型及其訓練方法

有效

• 申請號: 202010311770.3
• 申請日: 2020-04-20
• 公開（公告）號: CN111540470B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 王垚;賈寶龍;杜依寧;張晗;陳響
• 申請（專利權）人: 北京世相科技文化有限公司
• 主分類號: G16H50/30
• 分類號: G16H50/30;G16H50/70;G06N3/045;G06N3/08;G06Q50/00
• 代理公司: 北京載博知識產權代理事務所(普通合伙) 11116
• 代理人: 莊益利

本申請提供一種基于BERT遷移學習的社交網絡抑郁傾向檢測系統及其的訓練方法。本申請所述社交網絡抑郁傾向檢測系統包括預訓練的BERT網絡模型、Auto?Encoder編碼網絡模型和多層神經網絡判別模型。通過訓練上述模型，基于訓練的模型進行社交網絡抑郁傾向檢測。本申請進一步提供一種基于BERT遷移學習的社交網絡抑郁傾向檢測系統。本申請提出的方法其判斷準確率、召回率明顯優于其他同類方法。

技術領域

本申請涉及計算機輔助醫療領域。尤其涉及一種基于社交網絡文本內容的抑郁傾向檢測模型訓練方法，基于文本內容的抑郁傾向判定方法及系統。

背景技術

抑郁癥是一種以長期心情低落為主要臨床癥狀的精神疾病。但是目前國內對抑郁癥的重視程度不夠，并且患者在患病前期就醫的意識薄弱，導致抑郁癥在國內的診斷率低。目前在計算機領域對抑郁癥的主流檢測方法主要包括統計分析、機器學習和深度學習方法。統計分析方法依賴分詞以及情緒詞典的構建存在較大主觀性，很難準確的檢測抑郁傾向。深度學習方法需要大量的高質量數據，并且數據標注需要耗費大量人力物力，因此比較難以實現。所以，目前的抑郁檢測方法主要采用訓練機器學習模型，以及集成學習、多模態學習等方式實現。

發明內容

本申請實施例提供一種基于BERT遷移學習的社交網絡抑郁傾向檢測模型的訓練方法。

第一方面，本申請實施例提供一種基于BERT遷移學習的社交網絡抑郁傾向檢測模型的訓練方法，所述的抑郁傾向檢測系統包括預訓練的BERT網絡模型、Auto-Encoder編碼網絡模型和多層神經網絡判別模型。所述訓練方法包括：

(1)從社交網絡獲取用戶所有原創文本內容并清洗，輸入至預訓練的?BERT網絡模型，以獲取文本內容對應的向量序列；

(2)將所述的文本的向量序列作為輸入和輸出，訓練Auto-Encoder編碼網絡模型，獲取向量序列對應的低維度文本向量序列；

(3)將所述低緯度向量序列構造用戶向量序列；

步驟(3)中，低維度文本向量序列按照對應維度求均值的方式，構建用戶向量序列；

(4)將所述用戶向量序列作為輸入，人工標注得到的標簽作為輸出，訓練多層神經網絡判別模型。

上述人工標注的標簽分為兩類，一類表示正標簽，一類表示負標簽。正標簽表示有抑郁傾向用戶，負標簽表示無抑郁傾向用戶。整個標注過程至少需要3位領域專家各自獨立標注，然后從中選出至少2位專家認為是正樣本或負樣本的數據作為最終的訓練數據。

上述步驟(2)中所述Auto-Encoder編碼網絡模型包括編碼器Encoder和解碼器Decoder；所述訓練Auto-Encoder編碼網絡模型的方法包括：

將步驟(1)所述文本內容對應的向量序列作為所述編碼器Encoder的輸入；將所述編碼器Encoder的輸出作為所述解碼器Decoder的輸入；將所述解碼器Decoder的輸出目標作為所述編碼器Encoder的輸入；針對所述解碼器Decoder構造均方誤差損失函數，并利用所述均方誤差損失函數對所述?Auto-Encoder編碼網絡的參數進行更新。

針對所述解碼器Decoder構造均方誤差損失函數；

所述均方誤差函數為：

利用所述均方誤差損失函數對所述Auto-Encoder編碼網絡的參數進行更新；當所述Auto-Encoder編碼網絡模型的損失變化量小于0.001時完成訓練。

所述步驟(4)中多層神經網絡判別模型包括1個輸入層、3個隱藏層和?1個輸出層。其中，所述輸入層神經元個數為128，3個隱藏層神經元個數分別為64、32和10，輸出層神經元個數為1；

所述預先訓練的多層神經網絡判別模型包括：