[發明專利]數據提取方法、數據提取裝置、存儲介質和電子設備

有效

• 申請號: 201811251741.1
• 申請日: 2018-10-25
• 公開（公告）號: CN109271520B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 龔建
• 申請（專利權）人: 北京星選科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京睿派知識產權代理事務所(普通合伙) 11597
• 代理人: 劉鋒;劉熔

公開了一種數據提取方法、數據提取裝置、存儲介質和電子設備。本發明實施例根據獲取的評價數據集合中的多個評價文本，獲取評價文本的詞頻向量，并根據關鍵詞表調整詞頻向量獲取調整后的詞頻向量，進而對調整后的詞頻向量進行聚類獲取評價文本的聚類概率分布，從而根據評價文本的聚類概率分布提取待分析的評價文本。由此，可以更加準確地分析評價文本的觀點傾向，為后續對商品、物流和平臺的改進提供數據支持。

技術領域

本發明公開涉及數據分析技術領域，具體涉及一種數據提取方法、數據提取裝置、存儲介質和電子設備。

背景技術

隨著互聯網技術的不斷發展，O2O平臺的用戶規模逐漸變得越來越龐大，因此平臺中的用戶評價數量也在逐漸增長。用戶評價大多關于平臺本身、物流、商家或商品，甚至包括部分垃圾信息。現有的用戶評價分類方法通常通過tf-idf(term frequency-inversedocument frequency，詞頻-逆文檔頻率)算法(一種統計加權算法)獲取用戶評價的詞頻向量，并需要對詞頻向量進行降維，進而判斷用戶評價的類別，因此現有的用戶評價分類方法計算量較大，且準確度不高。

發明內容

有鑒于此,本發明實施例提供了一種數據提取方法、數據提取裝置、存儲介質和電子設備，能夠在降低計算量的同時提升用戶評價分類的準確性，為后續分析用戶評價從而改進商品、物流和平臺提供數據支持。

第一方面，本發明實施例提供了一種數據提取方法，所述方法包括：

獲取評價數據集合，所述評價數據集合包括多個評價文本；

獲取所述評價文本的第一詞頻向量；

根據關鍵詞表調整所述第一詞頻向量獲取調整后的第二詞頻向量；

對所述第二詞頻向量進行聚類獲取所述評價文本的聚類概率分布；

根據所述評價文本的聚類概率分布提取待分析的評價文本。

優選地，獲取所述評價文本的第一詞頻向量包括：

根據所述評價數據集合的停用詞表獲取所述評價文本的第一詞頻向量。

優選地，根據所述評價數據集合的停用詞表獲取所述評價文本的第一詞頻向量包括：

對所述評價文本進行分詞，獲取第一詞表，所述第一詞表包括所述評價數據集合的所述評價文本中出現的詞語；

根據所述停用詞表調整所述第一詞表，獲取不含停用詞的第二詞表，所述停用詞表包括預定的詞語；

根據所述第二詞表獲取所述評價文本的第一詞頻向量。

優選地，所述停用詞表還包括所述第一詞表中頻數低于預定閾值的詞語。

優選地，根據關鍵詞表調整所述詞頻向量獲取調整后的第二詞頻向量包括：

對所述關鍵詞表中的詞語賦予不同的預定權重；

根據所述權重調整所述第一詞頻向量，獲取所述調整后的第二詞頻向量。

優選地，對所述第二詞頻向量進行聚類獲取所述評價文本的聚類概率分布包括：

根據預定的主題模型對所述第二詞頻向量進行聚類，獲取所述評價文本的聚類概率分布。

優選地，所述預定的主題模型為隱含狄利克雷分布。

優選地，所述隱含狄利克雷分布中的超參數和變分參數閾值通過遍歷的方法確定。

優選地，根據所述評價文本的聚類概率分布提取待分析的評價文本包括：

根據聚類概率分布向量對所述評價文本進行二次聚類，獲取所述評價文本的類別；