[發明專利]一種短文本特征擴展方法、裝置及服務器

在審

• 申請號: 201610955473.6
• 申請日: 2016-11-03
• 公開（公告）號: CN108021546A
• 公開（公告）日: 2018-05-11
• 發明（設計）人: 張凌宇
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李相雨

1.一種短文本特征擴展方法，其特征在于，包括：

對獲取的短文本進行特征提取，以得到原主題-單詞向量；

利用LDA主題模型生成所述短文本的第一文檔-主題向量和第一主題-單詞向量；

去除所述第一文檔-主題向量中的噪聲文檔-主題向量，以得到第二文檔-主題向量；

根據第二文檔-主題向量和所述第一主題-單詞向量獲取第二主題-單詞向量；

將所述第二主題-單詞向量添加到原主題-單詞向量以形成新主題-單詞向量。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

計算所述第二主題-單詞向量中對應的第一單詞和第二單詞的編輯距離，若判斷所述編輯距離小于第一閾值，則保留所述第一單詞并刪除所述第二單詞，同時選擇第一單詞概率和第二單詞概率中數值較大的作為第一單詞概率。

3.根據權利要求1所述的方法，其特征在于，所述方法，還包括：

獲取長文本語料庫；

根據所述長文本語料庫訓練得到LDA主題模型。

4.根據權利要求1所述的方法，其特征在于，所述去除所述第一文檔-主題向量中的噪聲文檔-主題向量，以得到第二文檔-主題向量，包括：

計算所述第一文檔-主題向量的各主題在所述長文本語料庫中的多個長文本上對應的主題概率的方差；

去除對應的方差小于第二閾值的主題，形成第二文檔-主題向量。

5.根據權利要求1所述的方法，其特征在于，所述根據第二文檔-主題向量和所述第一主題-單詞向量獲取第二主題-單詞向量，包括：

獲取所述第二文檔-主題向量中主題概率大于第三閾值的主題，以得到新第二文檔-主題向量；

根據所述新第二文檔-主題向量和所述第一主題-單詞向量獲得滿足預設條件的第二主題-單詞向量。

6.根據權利要求5所述的方法，其特征在于，所述根據所述新第二文檔-主題向量獲得滿足預設條件的第二主題-單詞向量，包括：

獲取所述新第二文檔-主題向量中的主題在所述第一主題-單詞向量中對應的單詞的單詞概率大于第四閾值的第二主題-單詞向量。

7.根據權利要求1-6任一項所述的方法，其特征在于，所述方法，還包括：

將所述原主題-單詞向量做歸一化處理。

8.一種短文本特征擴展裝置，其特征在于，包括：

特征提取模塊，用于對獲取的短文本進行特征提取，以得到原主題-單詞向量；

生成模塊，用于利用LDA主題模型生成所述短文本的第一文檔-主題向量和第一主題-單詞向量；

第一處理模塊，用于去除所述第一文檔-主題向量中的噪聲文檔-主題向量，以得到第二文檔-主題向量；

第二處理模塊，用于根據第二文檔-主題向量和所述第一主題-單詞向量獲取第二主題-單詞向量；

合成模塊，用于將所述第二主題-單詞向量添加到原主題-單詞向量以形成新主題-單詞向量。

9.根據權利要求8所述的裝置，其特征在于，所述裝置，還包括：

計算所述第二主題-單詞向量中對應的第一單詞和第二單詞的編輯距離，若判斷所述編輯距離小于第一閾值，則保留所述第一單詞并刪除所述第二單詞，同時選擇第一單詞概率和第二單詞概率中數值較大的作為第一單詞概率。

10.根據權利要求8所述的裝置其特征在于，所述裝置，還包括：

獲取模塊，用于獲取長文本語料庫；

訓練模塊，用于根據所述長文本語料庫訓練得到LDA主題模型。

11.根據權利要求8所述的裝置，其特征在于，所述第一處理模塊，具體用于：

計算所述第一文檔-主題向量的各主題在所述長文本語料庫中的多個長文本對應的主題概率的方差；

去除對應的方差小于第二閾值的主題，形成第二文檔-主題向量。