[發明專利]一種數據質量檢測方法、系統、電子設備及存儲介質

在審

• 申請號: 202011509203.5
• 申請日: 2020-12-18
• 公開（公告）號: CN112632048A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 董歌
• 申請（專利權）人: 恩億科（北京）數據科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06Q30/06
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 趙燕

本申請公開了一種數據質量檢測方法、系統、電子設備及存儲介質。數據質量檢測方法包括：觸發步驟：觸發腳本；數據拉取步驟：將阿里查詢接口、Dataservice、業務數據庫中分別拉取數據；數據驗證步驟：將所述數據存放在csv文件下，驗證所述數據準確性。本發明提出一種數據質量檢測方法、系統、電子設備及存儲介質，為提高多平臺連通數據測試過程中測試校驗的及時性、準確性、完整性，通過結合自動化腳本的形式來提高在數據量較大的情況下數據驗證效率，并自動輸出測試報告。

技術領域

本申請涉及數據質量檢測領域，尤其涉及一種數據質量檢測方法、系統、電子設備及存儲介質。

背景技術

在現如今電商崛起時代，電商品牌主結合不同節日活動和主推商品，在各大電商平臺有不同的商品投放策略。目前電商六大媒體平臺有阿里的直通車，超級推薦和鉆展以及京東的快車、觸電和展位；而電商媒體自動化投放工具即將六大媒體平臺一站式整合到一個工具下，積累投放數據和經驗。用戶在電商平臺的行為數據成為電商品牌方分析商品在電商平臺投放效果及用戶轉化率等指標的重要數據，電商媒體自動化投放工具會間接拉取電商平臺的數據，根據數據做算法相關處理來指導投手商品投放。因此，針對拉取數據的完整性和準確性校驗就顯得尤為重要。

因此，針對以上現狀，本發明提出一種數據質量檢測方法、系統、電子設備及存儲介質，為提高多平臺連通數據測試過程中測試校驗的及時性、準確性、完整性，通過結合自動化腳本的形式來提高在數據量較大的情況下數據驗證效率，并自動輸出測試報告。

發明內容

本申請實施例提供了一種數據質量檢測方法、系統、電子設備及存儲介質，以至少解決相關技術中主觀因素影響的問題。

本發明提供了一種數據質量檢測方法，包括：

觸發步驟：觸發腳本；

數據拉取步驟：從阿里查詢接口、Dataservice及業務數據庫中分別拉取數據；

數據驗證步驟：將所述數據存放在csv文件下，驗證所述數據準確性。

上述的數據質量檢測方法，所述觸發步驟包括，以輸入參數的形式觸發所述腳本。

上述的數據質量檢測方法，所述數據拉取步驟包括，根據所述輸入參數調用封裝的所述阿里查詢接口，從所述阿里查詢接口、所述 Dataservice及所述業務數據庫中分別拉取每個計劃、單元、關鍵詞、人群在對應店鋪下產生的分時分日的數據。

上述的數據質量檢測方法，所述數據驗證步驟包括，將所述數據存儲在excel中，并存放在csv文件下后，比對數據gap值來驗證所述數據的準確性，并通過所述數據的代碼自動生成Echarts趨勢圖。

本發明提供數據質量檢測系統，其特征在于，適用于上述所述的數據質量檢測方法，包括：

觸發單元：觸發腳本；

數據拉取單元：從阿里查詢接口、Dataservice及業務數據庫中分別拉取數據；

數據驗證單元：將所述數據存放在csv文件下，驗證所述數據準確性。

上述的數據質量檢測系統，所述觸發單元包括，以輸入參數的形式觸發所述腳本。

上述的數據質量檢測系統，所述數據拉取單元包括，根據所述輸入參數調用封裝的所述阿里查詢接口，從所述阿里查詢接口、所述 Dataservice及所述業務數據庫中分別拉取每個計劃、單元、關鍵詞、人群在對應店鋪下產生的分時分日的數據。

上述的數據質量檢測系統，所述數據驗證單元包括，將所述數據存儲在excel中，并存放在csv文件下后，比對數據gap值來驗證所述數據的準確性，并通過所述數據的代碼自動生成Echarts趨勢圖。