[發明專利]一種利用局部嵌入話題建模的文本表示方法

有效

• 申請號: 201710332228.4
• 申請日: 2017-05-12
• 公開（公告）號: CN107220311B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 羅森林;劉望桐;潘麗敏;毛炎穎;魏超
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種利用局部嵌入話題建模的文本表示方法，所述方法包括以下步驟：

步驟1，根據文本在詞空間的歐氏距離選取近鄰集；

步驟2，利用近鄰集構造局部加權正則項；

步驟2.1，采用徑向基核函數(RBF)為不同近鄰分配加權系數計算公式如下：

其中，給定一個文本，詞分布用X⁽ⁱ⁾表示，X⁽ⁱ⁾的K個近鄰表示成S(X⁽ⁱ⁾)＝{…,S^(k),…,S^(K)}，其中S^(k)是第k個較近的近鄰且它們有相同的類標簽，||X⁽ⁱ⁾-S^(k)||是兩個文本之間的平方歐幾里得距離，σ是RBF函數的非負的寬度參數，取值范圍(0,1]，控制了徑向作用的范圍；

步驟2.2，利用加權系數，通過計算加權均方誤差來近似當前文本X⁽ⁱ⁾的各近鄰，正則項表示如下：

在詞分布X⁽ⁱ⁾基礎上生成話題分布Y⁽ⁱ⁾，然后對話題分布Y⁽ⁱ⁾重構詞分布得到Z⁽ⁱ⁾，K為詞表示X⁽ⁱ⁾的近鄰表示個數，為X⁽ⁱ⁾和S^(k)之間的加權系數；

步驟3，基于正則項，訓練文本的話題建模正則化自編碼網絡；

步驟3.1，利用局部加權正則項，構造樣本集的聯合損失函數：

其中，n_x為輸入和輸出的大小，K為詞表示X⁽ⁱ⁾的近鄰表示個數，為X⁽ⁱ⁾和S^(k)之間的加權系數，W,b,c是隨機初始化的模型參數，λ、γ為非負正則超參數，其中項是權重衰減項，用于控制權重W的大小，防止過擬合；

步驟3.2，通過隨機梯度下降算法更新訓練自編碼網絡參數W,b和c，使聯合損失函數最小；

步驟4，利用自編碼網絡參數，構造映射函數；

步驟4.1，構造一個觀察空間和低維流形空間之間的嵌入映射函數；

步驟4.2，利用編碼網絡抽取樣本外文本的嵌入向量表示。