[發明專利]一種基于深度多任務學習的文本分類方法在審

申請號：	201611117038.2	申請日：	2016-12-07
公開（公告）號：	CN106777011A	公開（公告）日：	2017-05-31
發明（設計）人：	張梓濱;潘嶸	申請（專利權）人：	中山大學
主分類號：	G06F17/30	分類號：	G06F17/30;G06N3/08
代理公司：	廣州粵高專利商標代理有限公司44102	代理人：	林麗明
地址：	510275 廣東***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于深度任務學習文本分類方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【權利要求書】：

1.一種基于深度多任務學習的文本分類方法，其特征在于，包括以下步驟：

S1：利用詞向量和雙向循環網絡學習當前任務的文檔表示；

S2：利用卷積神經網絡，從其他任務的文檔表示抽取特征；

S3：利用當前任務的文檔表示、其他任務的特征學習分類器。

2.根據權利要求1所述的基于深度多任務學習的文本分類方法，其特征在于，所述步驟S1的具體過程為是：

將所有任務中所有中文文檔進分詞，假設總共有N個詞，然后賦予每個詞一個唯一標示，然后表示成一個K維的向量，即所有詞向量行程一個N*K的矩陣，然后使用正態分布隨機初始化，詞向量矩陣是所有任務共享的；

用詞向量和雙向循環網絡學習當前任務的文檔表示，雙向循環網絡的上文表示學習部分公式為：

$<mrow><msubsup><mi>h</mi><mi>i</mi><mi>l</mi></msubsup><mo>=</mo><mi>f</mi><mrow><mo>(</mo><msup><mi>W</mi><mrow><mi>r</mi><mi>l</mi></mrow></msup><msub><mi>h</mi><mrow><mi>i</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>+</mo><msup><mi>W</mi><mi>l</mi></msup><msub><mi>e</mi><mi>i</mi></msub><mo>)</mo></mrow></mrow>$

雙向循環網絡的下文表示學習部分公式為：

$<mrow><msubsup><mi>h</mi><mi>i</mi><mi>r</mi></msubsup><mo>=</mo><mi>f</mi><mrow><mo>(</mo><msup><mi>W</mi><mrow><mi>r</mi><mi>r</mi></mrow></msup><msub><mi>h</mi><mrow><mi>i</mi><mo>-</mo><mn>1</mn></mrow></msub><mo>+</mo><msup><mi>W</mi><mi>r</mi></msup><msub><mi>e</mi><mi>i</mi></msub><mo>)</mo></mrow></mrow>$

其中，分別表示文檔的上下文表示；e_i為詞w_i的詞向量，使用均值為0方差為0.06的正態分布進行隨機初始化，訓練的時候通過查表得到或使用較大規模的語料及word2vec預詞向量同時進行替換掉隨機初始化；W^l、W^r、W^rl、W^rr為參數矩陣，分別用在上文詞向量、下文詞向量、上文循環狀態、下文循環狀態上；f為非線性激活函數；

將得到所有單詞的表示鏈接到一起，得到整個文檔的矩陣表示X，即文檔上文向量，下文向量的連接，其中

下載完整專利技術內容需要扣除積分，VIP會員可以免費下載。

免登錄下載普通用戶下載升級VIP會員，免費下載

該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中山大學，未經中山大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】

本文鏈接：http://www.szxzyx.cn/pat/books/201611117038.2/1.html，轉載請聲明來源鉆瓜專利網。