[發明專利]數據處理方法、裝置和計算機可讀存儲介質

有效

• 申請號: 201611234918.8
• 申請日: 2016-12-27
• 公開（公告）號: CN108241720B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 張麗
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/84
• 分類號: G06F16/84
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 倪斌

本發明提供了一種數據處理方法和數據處理裝置。所訴數據處理方法可以包括：利用預先配置的映射文件，對數據執行解析；校驗經解析的數據的有效性；以及響應于確定所述經解析的數據是有效的，將所述經解析的數據導入中間表。

技術領域

本發明涉及計算機領域，更具體地，涉及一種數據處理方法、裝置和計算機可讀存儲介質，所述數據處理方法和裝置能夠將不同類型的數據統一轉換成與之對應的中間表的數據格式，從而實現在大數據處理場景中數據分析處理的配置化，并降低程序編碼的復雜性及維護成本。

背景技術

在電子商務領域，往往需要將業務系統產生的數據按照一定的規則，按時、準確、完整地導出至中間表。

為了將業務數據導出至中間表，目前往往針對每種業務類型的數據編寫單獨的程序以便將其導出。例如，針對諸如采購數據和退貨數據的業務數據編寫單獨的程序，以便將其導出為諸如采購中間表、退貨中間表的中間表形式。具體操作包括：首先，執行業務系統數據源準備，包括sqlserVer、mysql、oracle等關系型數據庫。其次，使用MapReduce將業務數據解析成中間表需要的數據格式。不同的業務數據所用的解析程序是不同的，因此每種業務數據都需要編寫自己的程序解析。最后，將抽取的數據寫入中間表，從而生成中間表。

由于中間表數據量較大且每個表存儲不同業務類型的數據，因此，現有的實現方案不僅開發工作量大，工作效率低，也給后期的修改及維護帶來很多不便。現有的解決方案往往無法實現對數據導出格式的配置化，且需要針對每種類型的業務數據編寫單獨開發程序，導致各種不便。

綜上，需要一種數據處理方法和數據處理裝置，能夠將不同類型的數據統一轉換成與之對應的中間表的數據格式，使得能夠大大降低業務數據與中間表的耦合性，使數據識別變得智能化，并減少許多不必要的開發工作量，從而提高工作效率。

發明內容

本公開的方面在于解決至少上述問題和/或缺點并提供至少下述優點。

根據本發明的第一方面，提供了一種數據處理方法，可以包括：利用預先配置的映射文件，對數據執行解析；校驗經解析的數據的有效性；以及響應于確定所述經解析的數據是有效的，將所述經解析的數據導入中間表。

優選地，所述映射文件針對來自不同源的不同業務數據，且所述映射文件可以包括定義中間表字段信息的第一文件以及定義了中間表字段與數據字段之間的映射關系的第二文件，其中所述對數據執行解析可以包括：加載所述映射文件，利用所述中間表字段信息和所述映射關系，將數據轉換成符合中間表格式的數據。

優選地，所述對數據執行解析還可以包括：檢查映射文件中是否定義了映射關系類屬性，如果確定映射文件定義了映射關系類屬性，則通過使用映射程序，來對數據執行進一步解析。

優選地，所述對數據執行解析還可以包括：檢查映射文件中是否定義了擴展屬性，如果確定映射文件定義了擴展屬性，則根據繼承的映射文件路徑，加載針對擴展屬性的公用映射文件并通過使用所述公用映射文件來對數據執行進一步解析。

優選地，所述數據處理方法還可以包括：在對數據執行解析之前，剔除并記錄垃圾數據和錯誤數據。

優選地，所述校驗經解析的數據的有效性可以包括：根據中間表字段的數據類型、字段是否為空以及字段最大長度中的一個或更多個，來校驗經解析的數據的有效性。

根據本發明的第二方面，提供了一種數據處理裝置，可以包括：存儲器，用于存儲可執行指令和預先配置的映射文件；以及處理器，與存儲器相連，并用于執行存儲器中存儲的可執行指令，以執行如下操作：利用存儲器中存儲的映射文件，對數據執行解析；校驗經解析的數據的有效性；以及響應于確定所述經解析的數據是有效的，將所述經解析的數據導入中間表。