[發明專利]一種數據集群優化方向的確定方法、質量評估方法和裝置

在審

• 申請號: 201710979057.4
• 申請日: 2017-10-19
• 公開（公告）號: CN110019976A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 陳曉軍;唐楚懷;劉廣興;張亞楠
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/9032;G06F16/215
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝

本申請實施例公開了一種數據集群優化方向的確定方法，針對待優化的數據集群中同一類型的多個數據，可以收集這些數據中具有各個項目信息的數量，以此確定出針對第一項目信息的第一有效值和針對第二項目信息的第二有效值，由于第一有效值可以體現出該多個數據中具有第一項目信息的程度，第二有效值可以體現出該多個數據中具有第二項目信息的程度，故可以依據預設條件判斷第一有效值和第二有效值與該預設條件的符合關系，從而根據符合關系確定出該數據集群的優化方向，使得用戶明確需要對哪些部分進行優化，通過本申請實施例，去除了在確定優化方向時的人為經驗影響，提高了優化準確度和優化效率。本申請實施例還公開了一種質量評估方法和裝置。

技術領域

本申請涉及數據處理領域，特別是涉及一種數據處理方法和裝置。

背景技術

隨著大數據時代的到來，對數據的應用場景越來越多，例如根據數據源 提供的數據構建知識圖譜。

為了提高數據的應用效果，對數據的完整性具有較高的要求。例如如果 用于構建知識圖譜的數據完整性不足，比如數據中某些對象所對應的項目信 息不全，那么會導致當用戶使用該知識圖譜時，有可能希望了解的項目信息 查找不到，或者即使查找到，所查找到的項目信息也不能有效的體現實際情 況。

為此，需要對構建知識圖譜的數據進行優化，以提高知識圖譜的質量。 傳統方式中，對構建知識圖譜的數據優化主要基于人為判斷，即由人工對數 據進行篩查，以確定數據的優化方向，例如需要補全哪些項目信息。傳統方 式不僅過于依賴人為經驗，而且效率很低。

發明內容

為了解決上述技術問題，本申請提供了一種數據集群優化方向的確定方 法、質量評估方法和裝置，去除了在確定優化方向時的人為經驗影響，提高 了優化準確度和優化效率。

本申請實施例公開了如下技術方案：

第一方面，本申請實施例提供了一種數據集群優化方向的確定方法，應 用于待優化的數據集群，所述數據集群中包括同一類型的多個數據，具有所 述類型的數據包括多個項目信息，所述方法包括：

確定所述數據集合中具有第一項目信息的數據的第一數量，并根據所述 第一數量得到第一有效值，所述第一有效值用于體現所述多個數據中具有第 一項目信息的程度；

確定所述數據集合中具有第二項目信息的數據的第二數量，并根據所述 第二數量得到第二有效值，所述第二有效值用于體現所述多個數據中具有第 二項目信息的程度；

根據所述第一有效值和所述第二有效值確定出所述數據集群的優化方 向。

可選的，所述第一項目信息為所述多個項目信息中的一個，所述第二項 目信息為所述多個項目信息中的一個。

可選的，所述根據所述第一有效值和所述第二有效值確定出所述數據集 群的優化方向，包括：

根據所述第一有效值和所述第二有效值與預設條件的符合關系，確定出 所述數據集群的優化方向。

可選的，所述根據所述第一有效值和第二有效值確定出所述數據集群的 優化方向，包括：

若所述第一有效值小于所述第二有效值，將所述第一項目信息作為所述 數據集群的優化方向。

可選的，所述根據所述第一有效值和第二有效值與預設條件的符合關系， 確定出所述數據集群的優化方向，包括：

根據所述第一有效值、所述第二有效值，以及實體覆蓋率和/或更新效率 值與所述預設條件的符合關系，確定出所述數據集群的優化方向，所述實體 覆蓋率用于體現所述多個數據在預設范圍內所述類型的數據中的覆蓋程度； 所述更新效率值用于體現所述類型的數據更新到所述數據集群中的效率。

可選的，所述實體覆蓋率根據以下方式獲得：