[發明專利]數據項分類方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110762220.8
• 申請日: 2021-07-06
• 公開（公告）號: CN115577051A
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 鄭方園
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2457
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 李永葉;孫劍鋒

本發明提供了一種數據項分類方法、裝置、電子設備及可讀存儲介質。該方法包括：對輸入數據進行分詞得到若干個數據項；將數據項輸入主題分類模型，對每個數據項打上相應的主題分類標簽，輸出主題分類預測結果，并將隸屬同一主題分類下的數據項劃分為該主題分類下的數據集；將每個主題分類下的數據集輸入一級分類模型，對每個數據項打上相應的一級分類標簽，輸出一級分類預測結果，并將隸屬同一一級分類下的數據項劃分為該一級分類下的數據集；將每個一級分類下的數據集輸入二級分類模型，對每個數據項打上相應的二級分類標簽，輸出二級分類預測結果，并將隸屬同一二級分類下的數據項劃分為該二級分類下的數據集。

技術領域

本申請涉及計算機技術領域，具體地涉及一種數據項分類方法、裝置、電子設備及存儲介質。

背景技術

在實現本發明過程中，發明人發現數據治理領域中至少存在如下問題：數據治理是由專家人員根據自身的行業經驗完成，不同專家人員的行業經驗不同，因而數據治理呈現出較強的主觀性，沒有相對標準的過程步驟，近乎千人千法。在沒有專家人員介入的情況下，無行業經驗可供參考，因而需要通過逐一梳理來進行數據分類，工作成本高。即便有專家介入，在專家人員完成其階段性任務后，專家的主觀經驗可復用性弱，后續新數據項治理工作由其他人員完成時所需的學習成本較高，導致可持續性差。

因此，在當前數據治理的數據標準的建設中，以上這種通過專家人員的行業經驗處理的數據項分類方法是無法統一的，缺乏數據治理標準的一致性，且速度慢，時效性差，處理方法因人而異，容易出現人為的錯誤。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本申請的實施例提供了一種數據項分類方法，還提供了一種數據項分類裝置、電子設備及可讀存儲介質。

第一方面，本申請的實施例提供了一種數據項分類方法，上述數據項分類方法包括：

對輸入數據進行分詞得到若干個數據項；

將上述數據項輸入主題分類模型，對每個數據項打上相應的主題分類標簽，輸出主題分類預測結果，并將隸屬同一主題分類下的數據項劃分為該主題分類下的數據集；

將每個主題分類下的數據集輸入一級分類模型，對每個數據項打上相應的一級分類標簽，輸出一級分類預測結果，并將隸屬同一一級分類下的數據項劃分為該一級分類下的數據集；

將每個一級分類下的數據集輸入二級分類模型，對每個數據項打上相應的二級分類標簽，輸出二級分類預測結果，并將隸屬同一二級分類下的數據項劃分為該二級分類下的數據集。

根據本申請的實施例，上述數據項分類方法還包括：

在將隸屬同一分類下的數據項劃分為該分類下的數據集之前，將分類預測結果發送至客戶端進行展示；

響應于客戶端發送的修改指令，對上述分類預測結果進行修改；其中，上述分類為主題分類、一級分類或二級分類。

根據本申請的實施例，上述數據項分類方法還包括，上述主題分類模型、一級分類模型和二級分類模型中的至少一個模型通過以下步驟建立：

對文本數據進行分詞得到數據項，獲取與上述數據項對應的分類標簽，形成樣本數據；

以樣本數據中的數據項作為輸入，輸入初始機器學習模型，輸出初始分類結果，以所述數據項對應的分類標簽作為訓練標簽進行訓練得到相應的分類模型。

根據本申請的實施例，基于TF-IDF算法對文本數據進行分詞得到數據項，將數據項和與數據項對應的分類標簽作為樣本數據。

根據本申請的實施例，采用SOFTMAX算法對初始機器學習模型進行訓練得到相應的分類模型。

根據本申請的實施例，上述數據項分類方法還包括：