[發(fā)明專(zhuān)利]一種雙向門(mén)控卷積網(wǎng)絡(luò)的社交內(nèi)容抑郁檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111674925.0
• 申請(qǐng)日: 2021-12-31
• 公開(kāi)（公告）號(hào): CN114491289A
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 張小瑞;原春霖;孫偉;孫遜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京信息工程大學(xué)
• 主分類(lèi)號(hào): G06F16/9536
• 分類(lèi)號(hào): G06F16/9536;G06F40/268;G06F40/30;G06F16/33;G06V10/764;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 董建林

1.一種雙向門(mén)控卷積網(wǎng)絡(luò)的社交內(nèi)容抑郁檢測(cè)方法，其特征在于，包括如下步驟：

獲取社交內(nèi)容中的文本和圖像，對(duì)文本進(jìn)行矢量化處理，得到單詞向量序列；

根據(jù)單詞向量序列構(gòu)造詞性位置注意力特征矩陣，計(jì)算卷積網(wǎng)絡(luò)的輸入矩陣，再經(jīng)多尺度濾波器卷積得到多通道卷積特征；

使用Bi-GRU對(duì)單詞向量序列進(jìn)行編碼得到單詞表示，通過(guò)詞向量情感注意力機(jī)制在單詞間分配權(quán)重，得到句子表示；

通過(guò)殘差注意網(wǎng)絡(luò)對(duì)圖像進(jìn)行編碼，再通過(guò)視覺(jué)注意力機(jī)制學(xué)習(xí)圖像特定注意力權(quán)重，與句子表示聚合成圖像特定文本表示；

圖像特定文本通過(guò)學(xué)習(xí)圖像特定文本重要性權(quán)重聚合得到最終文本表示；

將多通道卷積特征與最終文本表示進(jìn)行特征拼接，再通過(guò)softmax分類(lèi)器獲得是否抑郁及抑郁嚴(yán)重程度。

2.根據(jù)權(quán)利要求1所述的一種雙向門(mén)控卷積網(wǎng)絡(luò)的社交內(nèi)容抑郁檢測(cè)方法，其特征在于，所述社交內(nèi)容中的文本劃分為L(zhǎng)個(gè)句子s_i，句子s_i由T個(gè)單詞w_i，t組成，其中i∈(1，…，L)，t∈(1，…，T)。

3.根據(jù)權(quán)利要求1所述的一種雙向門(mén)控卷積網(wǎng)絡(luò)的社交內(nèi)容抑郁檢測(cè)方法，其特征在于，所述卷積網(wǎng)絡(luò)的輸入矩陣計(jì)算如下：

其中，z_e為卷積網(wǎng)絡(luò)的輸入矩陣，e為目標(biāo)詞位置，δ為影響程度，ε為權(quán)重系數(shù)，A_e為詞性注意力特征矩陣，tag_e為詞性向量，P為句子位置矩陣，n為句子長(zhǎng)度。

4.根據(jù)權(quán)利要求1所述的一種雙向門(mén)控卷積網(wǎng)絡(luò)的社交內(nèi)容抑郁檢測(cè)方法，其特征在于，所述卷積網(wǎng)絡(luò)的輸入矩陣經(jīng)過(guò)3-5組尺度不同的濾波器卷積，所述濾波器每組為128個(gè)，步長(zhǎng)stride設(shè)置為1。

5.根據(jù)權(quán)利要求1所述的一種雙向門(mén)控卷積網(wǎng)絡(luò)的社交內(nèi)容抑郁檢測(cè)方法，其特征在于，所述詞向量情感注意力機(jī)制在單詞間分配權(quán)重的計(jì)算如下：

u_i，t＝U^Ttanh(h_i，tW_w+b_w)

h_i＝∑_tα_i，th_i，t

其中，u_i，t為相對(duì)重要性，U^T為上下文向量，tanh為非線性激活函數(shù)，h_i，t為單詞表示，W_w為單詞權(quán)重矩陣，b_w為單詞偏差，α_i，t為單詞注意力權(quán)重，h_i為句子表示。

6.根據(jù)權(quán)利要求1所述的一種雙向門(mén)控卷積網(wǎng)絡(luò)的社交內(nèi)容抑郁檢測(cè)方法，其特征在于，使用殘差注意網(wǎng)絡(luò)對(duì)社交內(nèi)容中的圖像進(jìn)行編碼，包括以ResNet-101為基礎(chǔ)，堆疊多個(gè)殘差注意塊RAB，作為特征選擇器。

7.根據(jù)權(quán)利要求1所述的一種雙向門(mén)控卷積網(wǎng)絡(luò)的社交內(nèi)容抑郁檢測(cè)方法，其特征在于，所述使用殘差注意網(wǎng)絡(luò)對(duì)圖像進(jìn)行編碼的過(guò)程如下：

m_j＝f(V_j)

V_j＝T(a_j)*(1+M(a_j))

其中，m_j為圖像表示，f為視覺(jué)注意函數(shù)，V_j為空間特征向量，a_j為圖像，T(a_j)為主干分支輸出，M(a_j)為掩碼分支輸出，j∈(1，…，E)為所取圖像位置，E為圖像數(shù)量。