[發明專利]文本分類模型的優化方法及裝置

有效

• 申請號: 201710016389.2
• 申請日: 2017-01-10
• 公開（公告）號: CN108287850B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 陳帥;徐峰;陳明星;鄭霖;陳弢
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽

1.一種文本分類模型的優化方法，其特征在于，包括：

獲取文本集，所述文本集包括至少一個文本；

對所述文本集中的各個文本進行預處理，得到所述各個文本對應的詞語集合；

將所述詞語集合中的詞語與預設的特征詞集合中的各個類別特征詞進行匹配；

根據匹配結果，確定所述詞語集合中的詞語的類別；

根據所述詞語的類別，對所述預設的特征詞集合進行擴充；

根據擴充后的預設的特征詞集合，對所述詞語集合中的詞語進行過濾；

根據所述文本集以及所述詞語的類別，確定過濾后的詞語集合中的詞語的權重值；其中，所述詞語的權重值與該詞語在對應類別的各文本中的集中程度、在所述文本集中的集中程度，以及在對應文本中的位置信息相關；所述對應類別的各文本是指所述文本集中與所述詞語的類別相同的各文本；所述對應文本是指所述文本集中包含所述詞語的文本；

根據所述過濾后的詞語集合中的詞語以及對應的權重值，對預設的文本分類模型進行優化。

2.根據權利要求1所述的方法，其特征在于，在所述根據擴充后的預設的特征詞集合，對所述詞語集合中的詞語進行過濾之前，還包括：

根據預設的信息熵計算方法，計算所述擴充后的預設的特征詞集合中的各個類別特征詞的信息熵；

根據所述各個類別特征詞的信息熵，對所述擴充后的預設的特征詞集合中的類別特征詞進行過濾，得到第二特征詞集合；

所述根據擴充后的預設的特征詞集合，對所述詞語集合中的詞語進行過濾，包括：

根據所述第二特征詞集合，對所述詞語集合中的詞語進行過濾。

3.根據權利要求1或2所述的方法，其特征在于，所述根據所述文本集以及所述詞語的類別，確定過濾后的詞語集合中的詞語的權重值，包括：

根據所述詞語的類別，確定所述文本集中各個文本的類別；

從所述文本集中篩選至少一個待選文本，其中，所述待選文本的類別與所述詞語的類別相一致；并從所述至少一個待選文本中選取包含所述詞語的目標文本；

根據所述待選文本的數目以及所述目標文本的數目，確定第一數值；

從所述文本集中篩選包含所述詞語的至少一個臨時文本；

根據所述臨時文本的類別的數目以及所述文本集中各個文本的類別的數目，確定第二數值；

確定所述詞語在所對應文本中的位置信息；

根據所述位置信息以及所對應文本中詞語的個數，確定第三數值；

根據所述第一數值、所述第二數值以及所述第三數值，確定所述詞語的權重值。

4.根據權利要求3所述的方法，其特征在于，所述根據所述位置信息以及所對應文本中詞語的個數，確定第三數值，包括：

根據如下公式確定所述第三數值：

其中，P_index為所述第三數值，p為所述位置信息，d為所對應文本，length(d)為所對應文本中詞語的個數。

5.根據權利要求3所述的方法，其特征在于，所述根據所述第一數值、所述第二數值以及所述第三數值，確定所述詞語的權重值，包括：

根據如下公式確定所述詞語的權重值：

其中，w為所述詞語的權重值，df為所述第一數值，cf為所述第二數值，P_index為所述第三數值，w1以及w2為預設的權重值。