[發明專利]數據提取方法、數據提取裝置、存儲介質和電子設備

有效

• 申請號: 201811251741.1
• 申請日: 2018-10-25
• 公開（公告）號: CN109271520B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 龔建
• 申請（專利權）人: 北京星選科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京睿派知識產權代理事務所(普通合伙) 11597
• 代理人: 劉鋒;劉熔

1.一種數據提取方法，其特征在于，所述方法包括：

獲取評價數據集合，所述評價數據集合包括多個評價文本；

獲取所述評價文本的第一詞頻向量；

根據關鍵詞表調整所述第一詞頻向量獲取調整后的第二詞頻向量；

對所述第二詞頻向量進行聚類獲取所述評價文本的聚類概率分布；

根據所述評價文本的聚類概率分布提取待分析的評價文本；

其中，根據關鍵詞表調整所述詞頻向量獲取調整后的第二詞頻向量包括：

對所述關鍵詞表中的詞語賦予不同的預定權重；

根據所述權重調整所述第一詞頻向量，獲取所述調整后的第二詞頻向量；

根據所述評價文本的聚類概率分布提取待分析的評價文本包括：

根據聚類概率分布向量對所述評價文本進行二次聚類，獲取所述評價文本的類別；

根據聚類概率分布向量對所述評價文本進行二次聚類包括：

計算評價文本的聚類概率分布的相對熵對所述評價文本進行二次聚類。

2.根據權利要求1所述的數據提取方法，其特征在于，獲取所述評價文本的第一詞頻向量包括：

根據所述評價數據集合的停用詞表獲取所述評價文本的第一詞頻向量。

3.根據權利要求2所述的數據提取方法，其特征在于，根據所述評價數據集合的停用詞表獲取所述評價文本的第一詞頻向量包括：

對所述評價文本進行分詞，獲取第一詞表，所述第一詞表包括所述評價數據集合的所述評價文本中出現的詞語；

根據所述停用詞表調整所述第一詞表，獲取不含停用詞的第二詞表，所述停用詞表包括預定的詞語；

根據所述第二詞表獲取所述評價文本的第一詞頻向量。

4.根據權利要求2所述的數據提取方法，其特征在于，所述停用詞表還包括第一詞表中頻數低于預定閾值的詞語。

5.根據權利要求1所述的數據提取方法，其特征在于，對所述第二詞頻向量進行聚類獲取所述評價文本的聚類概率分布包括：

根據預定的主題模型對所述第二詞頻向量進行聚類，獲取所述評價文本的聚類概率分布。

6.根據權利要求5所述的數據提取方法，其特征在于，所述預定的主題模型為隱含狄利克雷分布。

7.根據權利要求6所述的數據提取方法，其特征在于，所述隱含狄利克雷分布中的超參數和變分參數閾值通過遍歷的方法確定。

8.根據權利要求1所述的數據提取方法，其特征在于，根據所述評價文本的聚類概率分布提取待分析的評價文本還包括：

在不同類別的評價文本中提取待分析的評價文本。

9.根據權利要求1所述的數據提取方法，其特征在于，根據聚類概率分布向量對所述評價文本進行二次聚類，獲取評價文本的類別包括：

根據所述評價文本的聚類概率分布向量中最大的聚類概率獲取所述評價文本的主類別；

在不同類別的評價文本中提取待分析的評價文本包括：

對主類別相同的評價文本集合按照所述主類別對應的聚類概率進行排序；

獲取所述主類別中所述排序在前n的評價文本作為所述待分析的評價文本，所述n為大于等于1的預定整數。