[發明專利]一種資訊數據質量檢測方法和裝置

在審

• 申請號: 202110264051.5
• 申請日: 2021-03-10
• 公開（公告）號: CN112990689A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 王堯堯;蔣俐赟;雷萬保
• 申請（專利權）人: 華泰證券股份有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了一種資訊數據質量檢測方法和裝置，屬于數據質量技術領域，檢測方法包括如下步驟：基于多個質量維度對資訊數據質量分別進行數據屬性質量分析量化和數據環境質量分析量化，所述質量維度包括資訊數據的準確性、完整性、一致性、有效性和及時性；根據每個所述質量維度的數據屬性質量分析量化結果和數據環境質量分析量化結果和相對應的權重，采用加權平均計算方式獲得每個質量維度的數據質量；根據每個質量維度的所述質量相加求得資訊數據的綜合數據質量。本發明在資訊數據質量檢測過程中分析了數據屬性質量分析量化和數據環境質量分析量化兩方面的影響，從而使資訊數據質量檢測結果更加全面、準確。

技術領域

本發明涉及數據質量技術領域，尤其涉及一種資訊數據質量檢測方法和裝置。

背景技術

廣義上的資訊數據是指一切可公開的數據，包括新聞資訊、證券發行上市信息、行業數據等，數據質量檢測評估一直是行業的一個難題，尤其針對資訊結構化數據獲取綜合的數據質量等級評估等方面。

當前存在的數據質量檢測評估方法，大部分都是僅僅考慮數據屬性，如數據波動性測量、數據合法性檢驗、數據時效性檢驗、業務屬性稽核等，并從數據準確性、完整性、一致性、有效性、及時性五個維度分析數據的質量特性，測量過程依賴對數據的理解和數據的存儲方式，而沒有綜合考慮資訊數據發布源頭、數據提供方等環境因素以及數據本身業務屬性的影響情況。

發明內容

本發明的目的在于克服現有技術中的不足，提供一種資訊數據質量檢測方法和裝置，能夠進行數據屬性質量分析量化和數據環境質量分析量化，使資訊結構數據質量的檢測結果更加全面和準確。

為達到上述目的，本發明是采用下述技術方案實現的：

第一方面，本發明提供了一種資訊數據質量檢測方法，包括如下步驟：

基于多個質量維度對資訊數據質量分別進行數據屬性質量分析量化和數據環境質量分析量化，所述質量維度包括資訊數據的準確性、完整性、一致性、有效性和及時性；

根據每個所述質量維度的數據屬性質量分析量化結果和數據環境質量分析量化結果和相對應的權重，采用加權平均計算方式獲得每個質量維度的數據質量；

根據每個質量維度的所述質量相加求得資訊數據的綜合數據質量。

進一步的，基于多個質量維度對資訊數據質量進行數據屬性質量分析量化的方法包括如下步驟：

基于資訊數據的業務特性，獲取資訊數據質量檢測的屬性量化指標；

根據所述屬性量化指標，構建評測數據屬性質量的量化指標和權重矩陣。

進一步的，基于數據屬性質量的所述量化指標的覆蓋選取情況，每個所述質量維度的數據屬性質量分析量化的數據質量公式表示如下：

式中，w_i代表第i個數據數據屬性質量評估指標的權重；r_i代表第i個數據數據屬性質量評估指標的權重，覆蓋的取1，否則取0.2；s_i代表第i個數據屬性質量評估指標的通過率，指標未覆蓋時取默認值0.95；n代表數據屬性質量評估指標的個數；w_j代表第j個數據數據屬性質量評估指標的權重；r_j代表第j個數據數據屬性質量評估指標的權重，覆蓋的取1，否則取0.2。

進一步的，基于多個質量維度對資訊數據質量進行數據環境質量分析量化的方法包括如下步驟：

基于資訊數據的數據環境因素，構建評測數據環境質量的量化模型，所述數據環境因素包括數據發布機構級別、數據發布穩定性、數據獲取容易程度、數據生產難度和數據直接來源服務能力；

采用專家評審法，對所述量化模型中的每個所述數據環境因素進行等級評分量化以及權重分配。