[發明專利]一種數據表分類方法、裝置、設備及存儲介質

在審

• 申請號: 202211208626.2
• 申請日: 2022-09-30
• 公開（公告）號: CN115599975A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 王和平;尹強;楊永坤;夏晨;笪尚;白樂;郝謀洪;邸帥;盧道和
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06F16/28;G06F16/901
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 雷航

本申請實施例提供了一種數據表分類方法、裝置、設備及存儲介質，涉及大數據處理技術領域，該方法包括：從多個預設關鍵詞中確定出與數據表的各維度表信息匹配的至少一個目標關鍵詞，針對任一目標關鍵詞，基于分類標簽對應關系，確定目標關鍵詞對應的目標分類標簽，以及目標關鍵詞與目標分類標簽相關聯的多維度卡方值。最后，基于每個目標關鍵詞對應的目標分類標簽以及每個目標關鍵詞與目標分類標簽相關聯的多維度卡方值，確定數據表的分類結果，而不再是依賴人工經驗，提高了數據表分類結果的準確性，進而保證了數據表劃分至對應的數倉分層的準確性。

技術領域

本發明實施例涉及大數據處理技術領域，尤其涉及一種數據表分類方法、裝置、設備及存儲介質。

背景技術

隨著互聯網的快速發展，數據也呈爆發式增長。為了便于對數據進行存儲，目前各個企業將數據按照數據表的形式存儲至數據倉庫中。

數據倉庫一般分為5個數倉分層，分別為數據運營層(Operation Data Store，ODS)、公共維度層(Dimension，DIM)、數據細節層(Data Warehouse Details，DWD)、數據中間層(Data Warehouse Service，DWS)、數據應用層(Application Data Service，ADS)。其中，數據運營層為離線或準實時數據接入層；公共維度層存儲的是多維度整理獲得的數據；數據細節層的數據是對數據運營層的數據做一定的數據清洗和轉換獲得的；數據中間層的數據對數據細節層的數據做輕度的匯總獲得的；數據應用層的數據是對數據中間層的數據進行整合匯總獲得的，提供后續的業務查詢等服務。

為了對數據倉庫中的數據表更加清晰地進行管理，需要將數據表劃分至不同的數倉分層。目前一般人工對數據表進行分析，根據分析結果將數據表劃分至對應的數倉分層，由于依賴人工經驗，這容易導致數據表劃分結果并不準確。

發明內容

本申請實施例提供了一種數據表分類方法、裝置、設備及存儲介質，用于提高數據表分類結果的準確性。

一方面，本申請實施例提供了一種數據表分類方法，該方法包括：

從多個預設關鍵詞中確定出與數據表的各維度表信息匹配的至少一個目標關鍵詞；

針對任一目標關鍵詞，基于分類標簽對應關系，確定所述目標關鍵詞對應的目標分類標簽，以及所述目標關鍵詞與所述目標分類標簽相關聯的多維度卡方值；所述分類標簽對應關系是根據多個樣本數據表確定的每個預設關鍵詞的分類關系；其中，每個預設關鍵詞的分類關系包括預設關鍵詞所屬的分類標簽及預設關鍵詞與所屬的分類標簽相關聯的多維度卡方值；多維度卡方值用于表征預設關鍵詞在多個維度表信息下與所屬的分類標簽相關性；

基于每個目標關鍵詞對應的目標分類標簽以及每個目標關鍵詞與所述目標分類標簽相關聯的多維度卡方值，確定所述數據表的分類結果。

可選地，所述分類標簽對應關系是根據多個樣本數據表確定的每個預設關鍵詞的分類關系，包括：

針對任一預設關鍵詞，基于所述多個樣本數據表，分別確定所述預設關鍵詞與每個候選分類標簽的多維度卡方值；

從多個多維度卡方值中選取最大的多維度卡方值，并且當最大的多維度卡方值大于卡方分布的臨界值時，將最大的多維度卡方值所對應的候選分類標簽，作為所述預設關鍵詞所屬的分類標簽，并將所述最大的多維度卡方值作為所述預設關鍵詞與所屬的分類標簽相關聯的多維度卡方值。

可選地，所述針對任一預設關鍵詞，基于所述多個樣本數據表，分別確定所述預設關鍵詞與每個候選分類標簽的多維度卡方值，包括：

針對任一預設關鍵詞對應的任一候選分類標簽，執行以下步驟：

基于所述多個樣本數據表，分別確定每個維度表信息對應的置信值；所述置信值用于表征每個維度信息與候選分類標簽的相關性；