[發明專利]一種基于文檔數據庫的數據處理方法

有效

• 申請號: 202010822510.2
• 申請日: 2020-08-17
• 公開（公告）號: CN111737268B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 謝智;謝乾;王吉;龔彬;周國棟;鄧鋅強;吳大超
• 申請（專利權）人: 南京百敖軟件有限公司;江蘇卓易信息科技股份有限公司;昆山百敖電子科技有限公司;上海百之敖信息科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2457;G06F16/25;G06F16/28
• 代理公司: 宜興知初知識產權代理事務所(普通合伙) 32418
• 代理人: 高春濤

本發明公開一種基于文檔數據庫的數據處理方法，屬于數據分析與處理領域，方法包括：監聽數據庫中文檔集的數據變動，收集增量數據作為一條數據流的輸入源，經過處理節點構成的自動化處理流程，產生新的數據作為數據流的輸出源；一條數據流的輸出源直接與其他數據庫綁定，存入指定數據庫表中，或者作為新的數據流的輸入源，再次進行處理。本發明將多種數據流進行組合，可以滿足復雜業務的數據處理需求。相比于現有技術的方法，本發明使用范圍更廣，可應用于多種文檔數據庫，對運行環境也無特殊要求。

技術領域

本發明屬于數據分析與處理技術領域，具體涉及一種基于文檔數據庫的數據處理方法。

背景技術

現在主流的數據分為關系型數據庫和文檔數據庫，兩種數據庫側重點不同。關系型數據庫表結構穩定，側重維持表與表之間的關系，善于分析統計；文檔數據庫表結構比較靈活，適用于動態存儲的場景。很多情況下需要將兩者進行結合，將文檔數據庫中的數據轉換到關系型數據庫中，并保持兩邊的數據同步，且需要在數據轉換過程中加入業務邏輯的處理。現存技術中只有mongodb公司基于自身的云服務實現了stitch，具有一些基礎的數據分析和轉換能力，但該功能依賴于云環境，且僅限于mongodb這一種數據庫，適用性不強。

發明內容

本發明解決的技術問題：提供基于文檔數據庫的數據處理方法，該方法通過監聽文檔數據庫的數據變動，通過一系列的自動化處理流程，把結果數據存入關系型數據庫中。

技術方案：為了解決上述技術問題，本發明采用的技術方案如下：

一種基于文檔數據庫的數據處理方法，監聽數據庫中文檔集的數據變動，收集增量數據作為一條數據流的輸入源，經過處理節點構成的自動化處理流程，產生新的數據作為數據流的輸出源；數據流的輸出源直接與數據庫綁定，存入指定數據庫表中，或者作為新的數據流的輸入源，再次進行處理。主要包括以下步驟：

S1：對文檔數據庫的文檔集進行監聽，收集有變動的數據，根據變動方式對數據進行標記；

S2：將步驟S1中收集的數據作為一個數據流的輸入源；

S3：為步驟S2中創建的數據流設置自動化處理流程，所述自動化處理流程是由流處理節點和元數據處理節點組成的鏈式流程；

S4：由統一的數據流處理中心，根據步驟S3中設置的處理流程進行初始化，對流和元數據執行處理節點對應的邏輯，產生輸出源；

S5：步驟S4中產生的輸出源與數據庫綁定，存儲處理結果；或者作為其他數據流的輸入源。

作為優選，步驟S1中，采用監聽器與文檔數據庫建立連接，通過定時輪訓訪問文檔集，通過文檔的創建時間、修改時間和刪除時間判斷是否在輪訓間隔時間內發生變動，并收集變動數據。

作為優選，步驟S2中，所述數據流的輸入源以隊列的形式存儲監聽獲得的變動數據，所述輸入源的存儲隊列中數據根據其變動的類型，在數據上增加標識位用以區分數據是新增、修改或者刪除。

作為優選，步驟S3中，所述流處理節點包括流合并節點、流關聯節點和流過濾節點。

作為優選，所述流合并處理節點是指定一個新的文檔集的數據流，與原有的數據流中元數據的字段一一映射后，使兩個數據流的數據格式統一，從而并成一個新的數據流，合并后的數據流的數據量為兩個數據流之和。

作為優選，所述流關聯處理節點是指定一個新的文檔集，通過與原有數據流中的一個或多個字段進行關聯建立元數據的一對一關系，然后將新的文檔集中的字段作為原數據流的擴充，使原數據流攜帶更多的字段。

作為優選，所述流過濾節點通過對流中數據一個或多個字段進行判斷，過濾掉不符合判斷的數據，減少數據量。